來源:量子位
萬衆期待的蘋果WWDC在即,有關AI的升級細節全泄露了!
知名網站Apple Insider稱收到了新功能的確切細節,並總結評價:Siri將在iOS18中重生。
從相機相冊、日曆備忘錄到瀏覽器電子郵件……幾乎系統中所有原生應用都將被AI全面武裝。
不僅如此,彭博社爆料蘋果將推出針對iPhone、iPad、Mac的全生態AI能力,定名爲Apple Intelligence:
將自動選擇運行本地AI或雲端AI,蘋果技術側重於日常實用功能,把聊天機器人等花裏胡哨的留給OpenAI。
有不少網友感嘆:Apple Intelligence是最聰明的營銷手法,庫克直接把AI一詞中原本的Artificial(人工的)劫持替換了。
此外,從蘋果ML實驗室公開的論文中也能看到新功能的影子,如“一句話修圖”技術就有傳言將在此次更新中落地。
慣例先上總結,具體細節,後面挑重點展開。
相機:拍特定模式的照片/視頻,一句話就能設定倒計時、切換前後鏡頭
照片:編輯修圖、整理相冊,甚至還能根據關鍵詞找出特定的人、寵物、風景……
備忘錄:錄音轉文字、語音總結大意、公式識別,學習筆記全能王駕到
語音備忘錄:錄音、轉錄、存檔、整理文件夾,會議筆記更高效
提醒事項:新建購物清單、差事待辦,還能加標籤、整理歸類
郵件:寫郵件、存草稿、設置提醒,還能自動歸類廣告垃圾郵件
圖書:導航到特定書籍、章節,一鍵翻頁、切換主題
Safari:總結網頁摘要、整理標籤頁
Keynote:一句話插入音頻、視頻、圖片,自動編輯幻燈片
更智能的相機和相冊
新版Siri將能夠直接控制攝像頭,用戶可以通過Siri完成相機模式設置等操作,具體包括:
切換到視頻錄製模式
將相機打開到特定模式,如照片、肖像、視頻、慢動作等
設置計時器
切換至前/後置攝像頭
除了相機之外,Siri也將給相冊應用帶來顯著功能增強,用戶可以選擇通過Siri編輯、移動和隱藏照片或相冊。
Siri還能夠通過Visual Look Up識別照片中的特定物體、風景或人物,這意味着用戶可以要求查看某人或特定場景的照片。
用戶還可以選擇編輯照片、視頻、屏幕截圖等內容——所有這些都可以通過蘋果的虛擬助手 Siri 進行。
在相冊裏,Siri將能夠:
搜索並打開本地和網絡中包含特定對象的照片
旋轉、複製、移動、隱藏、收藏照片
創建、打開、重命名相冊,或向其中添加照片
創造新的回憶、專輯
打開照片和視頻進行編輯、對照片應用濾鏡、增強照片
此外,蘋果相冊還將進行一些小的 UI 更改,加入新的AI編輯功能,還將推出Clean Up工具,支持從圖像中移除特點對象。
用Siri管理備忘錄和錄音
蘋果在備忘錄中設置的Siri增強功能將使得瀏覽、標記和移動筆記變得更加容易。
在備忘錄中,搭載了Apple全新大模型支持的Siri將能夠:
創建、重命名和刪除註釋文件夾
爲筆記添加或刪除標籤,篩選、打開、創建和刪除備忘錄中的特定標籤
在備忘錄中打開特定帳戶下的內容(例如 iCloud、Outlook 等)
打開、移動、刪除或固定/取消固定特定筆記
在筆記視圖和文件夾視圖之間切換
新版備忘錄預計還將具有應用程序內錄音、音頻轉錄以及由大模型支持的摘要功能,這將允許用戶將錄音、摘要和轉錄與其他材料(例如文本或圖像)一起存儲在一張筆記中。
Math Notes是蘋果爲備忘錄準備的另一項升級,它將集成全新GreyParrot計算器的集成,幫助用戶將複雜的數學方程和圖表嵌入到個人筆記。
同樣在開發中的鍵盤數學預測功能,將允許蘋果軟件將數學表達式識別爲文本輸入的一部分,通過AI自動補全數學方程。
除了備忘錄,語音備忘錄(錄音機)中也將有新功能上線。通過 Siri,用戶將能夠創建、暫停、刪除和移動單個錄音或錄音文件夾。
藉助語音備忘錄應用程序,Siri 將可以:
搜索、打開個人語音備忘錄/錄音
創建或暫停新錄音
創建、打開和刪除語音備忘錄中的文件夾
按名稱、創建日期和音頻內容刪除特定錄音
新的功能將使用戶能夠更輕鬆地找到他們可能正在尋找的特定文件,因爲Siri將能夠按名稱、日期或位置查找錄音,預計還將接收應用程序內的音頻轉錄。
處理郵件、做PPT,讓辦公更高效
除了備忘錄,蘋果的郵件應用也將迎來重大變革,同樣將搭載AI功能,使其能夠根據文本內容自動對電子郵件進行分類。
具體來說,郵件應用將能夠將電子郵件分爲商業、新聞、社交等類別, Siri將能夠使用這些信息在應用內執行不同的操作。
例如識別帶有促銷代碼的電子郵件或來自特定公司的電子郵件,並將其標記爲垃圾郵件。
在郵件應用程序中,Siri將擁有的能力包括:
撰寫、發送/取消發送電子郵件,或設置定時發送
將電子郵件另存爲草稿,或刪除草稿
將電子郵件標記爲垃圾郵件,或設置不提醒、阻止、刪除特定發件人/特定主題的郵件
回覆電子郵件或其所有收件人,啓用基於AI的智能回覆
將電子郵件標記爲“稍後閱讀”並設定具體日期,或取消設定
取消訂閱電子郵件,尤其是與營銷相關的電子郵件
啓用來自特定發件人或有關特定主題的電子郵件的通知設置
總結電子郵件內容,歸檔、移動、轉發電子郵件
蘋果的郵件應用程序還將搭載一項名爲“智能回覆”的功能,通過該功能,用戶將能夠發送人工智能生成的電子郵件回覆。
在辦公方面,不只是郵件,新版Keynote也將搭載AI相關功能——通過Siri,用戶將能夠輕鬆查看Keynote演示文稿,並自行進行更改。
通過虛擬助手,用戶可以向Keynote中插入音頻、圖像和視頻,使PPT的創建、修改、演示變得更加容易:
向特定幻燈片中添加圖像、音視頻、文本框或註釋等內容
創建新PPT或新頁面,顯示具體幻燈片
播放和停止主題演示文稿
顯示主題演講的活動流,顯示更改內容以及更改者
將網絡視頻從Safari添加到幻燈片
爲特定幻燈片設置標題、要點
用Siri創建提醒列表
Siri 的提醒功能將幫助用戶創建諸如家務、要閱讀的書籍、學習用品、旅行安排等列表,還可以在特定提醒中添加或刪除主題標籤,並生成提醒概述。
利用這一功能,企業用戶可以創建他們需要會面的人的提醒,而學生可以列出新學年所需的用品清單。
據Apple Insider透露,提醒事項預計還將與蘋果默認的日曆應用程序集成,這意味着用戶將能夠直接從內置日曆應用程序創建和編輯提醒,支持的操作包括:
創建新的提醒列表或其部分
從特定提醒中添加或刪除主題標籤
顯示提醒列表/概述
Siri一鍵總結網頁
隨着Siri升級,Safari也被全面改進。
爆料稱,Siri將引入新的智能瀏覽功能,該功能將增強搜索功能並提供文章摘要。
還有一項名爲Web Eraser的功能,它是一個內容攔截器。不過這個功能引發了爭議,英國新聞媒體協會和一些法國出版商都向蘋果公司投訴了該功能。消息稱該功能已經構建完善可用,但是在WWDC之前蘋果可能會刪除它避免爭議。
其他
Siri還可以打開系統設置的不同區域,例如亮度設置、主屏幕和應用程序庫設置,以及多任務處理和手勢設置。系統設置應用程序預計也將在 iOS 18 和 macOS 15 中被重新佈局。
同時Siri還能在“文件”應用中掃描文檔、將特定文件移入垃圾箱。編輯通訊錄中聯繫人的詳細信息。
在放大鏡功能裏,Siri可以描述物體、識別視野中的人等,有點類似於Rabbit 1等產品的識別方式,同時利用蘋果現有的框架和 Visual Lookup 等功能。
此外,Siri 還能夠通過蘋果內部的 Generative Playground 應用程序生成各種不同的圖像,但目前尚不清楚最終用戶是否可以使用此功能。
“灰質計劃”
值得一提的是,一些Siri新功能被放入“灰質計劃”(Project Greymatter)中,包括生成文章、電子郵件等,以及對消息、通知等摘要。
一個名爲Greymatter Catch-Up的功能將爲用戶提供最新通知的回顧。
據了解,蘋果的人工智能軟件能夠生成不同級別的摘要,範圍從三個主題詞一直到三個句子。
並且,Siri、Spotlight 和Mail都將通過蘋果的人工智能軟件獲得先進的搜索功能和更好的上下文理解。創建回覆時,Siri 將能夠考慮不同的實體,例如人和公司、地點和日曆事件。
據知情人士透露,生成式人工智能軟件還將允許即時創建智能回覆,該回復將在郵件、Siri和消息中提供。
最後爆料來源AppleInsider也強調,並非所有功能都會發布。
相關消息來自熟悉蘋果操作系統預發佈版本和測試環境的人士,可能並不反映最終發佈版本。
編輯/lambor