随后，荣耀跨应用开放生态智能体的个人化全场景AI操作系统MagicOS 9.0将推出，OPPO ColorOS 15系统也将AI从单点功能升级到系统集成。編輯｜王 川
金秋十月，各大消費電子公司輪番登場，展示最新的產品和技術，智能體成爲了新主角。
vivo展示了手機智能體 PhoneGPT可以在了解需求後自動在餐廳訂座，聯想AI智能體聯想AI Now可以化身老師給學生出題。
隨後，榮耀跨應用開放生態智能體的個人化全場景AI操作系統MagicOS 9.0將推出，OPPO ColorOS 15系統也將AI從單點功能升級到系統集成。
手機和PC普及智能體的趨勢越來越明顯，對於強大AI處理器的需求也越來越高。
作爲端側AI的領導者，高通也爲端側智能體的落地做好了技術和產品的準備。
2023年高通驍龍峯會，高通展示了一系列基於第三代驍龍8的手機AI應用，結合手機攝像頭和位置信息的前瞻應用終端側AI助手讓人眼前一亮。
今年2月份，高通在MWC巴塞羅那演示了全球首個在Android手機上運行的多模態大模型（LMM），以及基於驍龍X Elite平台運行的70億參數的多模態大模型(LMM)，爲智能體在手機和PC上的落地奠定了基礎。
10月22日將舉辦的2024驍龍峯會，高通將展示最前沿的終端側AI新應用。讓人期待的是，高通將發佈首款集成了定製高通Oryon CPU的新一代驍龍8系旗艦移動平台，CPU和AI性能的提升會有多驚人？基於更強大的AI性能和不斷進化的AI軟件棧，高通將激發出包括智能體在內的新一輪AI應用創新。
混合AI已成共識，智能體時代到來
在進一步探討智能體以及未來端側AI的發展前，不要忽略混合AI已經成爲行業共識，以及輕量級的生成式AI模型性能足夠好的前提。
以ChatGPT爲代表的生成式AI是在2022年後迎來爆發，生成式AI一系列超越想象的功能，最初都是基於雲端千億參數的大模型的能力。
《高通AI白皮書》中提到，每一次基於生成式AI的網絡搜索查詢，成本是傳統搜索的10倍。
生成式AI要普及，需要成本能被大衆接受，並且體驗不差，混合AI是理想的選擇。
所謂混合AI，就是在需要即時感知即時處理的情況下使用設備上的AI模型，在需要更多計算能力、任務更復雜時使用雲端的AI模型。這讓混合AI兼具性能、成本、時延、隱私等優勢，已經成爲巨頭押注的方向。
無論是今年微軟Build大會推出的全新的PC品類Copilot+ PC（Windows 11 AI+ PC），還是谷歌I/O宣佈將AI嵌入到了安卓操作系統，以及蘋果Apple Intelligence重視使用戶數據在本地完成處理，減少對雲端的依賴，都表明混合AI已經成爲行業共識。
高通早在2007年就啓動首個AI研究項目，一直主張以終端爲中心的混合AI，也就是讓終端充當錨點，雲端僅用於分流處理終端無法充分執行的任務。
大談智能體的手機和PC廠商進一步利用和延展以終端爲中心的混合AI，用智能體爲終端AI帶來體驗的革新。
榮耀以用戶日常「取消APP自動續費」需要經過7步人工操作的步驟爲例，展示了擁有榮耀AI智能體的MagicOS 9.0後，用戶只需要一句話即可完成複雜操作。
榮耀CEO趙明將榮耀AI智能體形象地比喻爲手機內的「自動駕駛」，並表示最大化實現用戶價值呈現的AI智能體，應具有自然語義理解和計算機視覺、用戶行爲習慣學習和場景環境感知、意圖識別及決策能力、應用內及跨應用操作四大核心能力。
聯想也有相似的AI智能體核心理念，聯想表示要實現橫跨多個設備、橫跨多個生態系統的無縫、安全的AI體驗。
基於這一核心理念，聯想發佈了聯想AI Now智能體。
要實現跨應用、跨設備甚至跨生態的智能體，多模態大模型是基礎。
就像人類需要利用各種感官學習，多模態生成式AI模型可基於一系列模態進行訓練，包括文本、圖像、語音、音頻、視頻、激光雷達等傳感器數據，讓生成式AI模型更加智能。
多模態大模型已經成爲AI發展的方向，行業領先的OpenAI GPT-4V、谷歌Gemini在雲端使用不同模態的數據訓練多模態大模型。
集成了各種傳感器和豐富本地情境信息的手機和PC是理想的多模態大模型落地的載體。搭載高通高性能AI驍龍平台的終端設備，能夠帶來更高的隱私、安全性和更好的個性化體驗，以及對多模態大模型的支持。
高通的多模態AI先行一步
高通AI研究在今年2月演示的全球首個在Android手機上運行的多模態大模型，展示的是一個超過70億參數的大語言和視覺助理大模型(LLaVA)，可以接受包括文本和圖像在內的多種類型的數據輸入，並生成關於圖像的多輪對話。
通過全棧AI優化，LLaVA能夠在搭載第三代驍龍8移動平台的參考設計上以實時響應的速度在終端側生成token。
高通同時演示了搭載驍龍X Elite的Windows PC上運行超70億參數的多模態大模型，可接受文本和環境音頻輸入（如音樂、交通環境音頻等），並基於音頻內容生成多輪對話。
能夠率先支持多模態生成式AI模型，離不開高通在AI領域的持續投入以及領先的技術和產品。
生成式AI爆發後不久的2023年初的MWC，高通就展示了全球首個運行在Android手機上的Stable Diffusion終端側演示。
2023年底，驍龍移動平台運行的AI大模型的參數從10億陡增至100億，運行Stable Diffusion模型的速度從年初的不到15秒縮短至1秒以內，提升幅度和速度驚人。
2024年初，高通推出高通AI Hub，爲驍龍和高通平台提供豐富的經過優化的AI模型，開發者只需通過幾行代碼即可在搭載高通平台的雲託管終端上自行運行這些模型。
高通也已經先行一步，推出了高通AI規劃器（Qualcomm AI Orchestrator），爲智能體未來成爲手機和PC上的亮點奠定基礎。
高通AI規劃器利用存儲在終端側的用戶情境信息，如喜歡的飲食、鍛鍊習慣、常用聯繫人和消息、過往偏好歷史等作爲個人知識圖譜，以更好地理解用戶意圖。
通過理解與本地情境信息相融合的個人偏好，高通AI規劃器能夠將這些知識整合進生成式AI助手中，爲用戶提供有意義的個性化回覆和行動，提供更快響應速度的同時還能增強隱私性。
藉助多模態模型，高通AI規劃器支持多種終端交互模態，包括文本、視覺和語音。
雷峯網(公衆號：雷峯網)了解到，高通AI規劃器將成爲高通AI軟件棧的重要組成部分，位於應用和AI框架及runtime之間。
集成高通AI規劃器的高通AI軟件棧將更將強大，能夠最大化降低AI開發的門檻，更關鍵的是高通AI軟件棧支持一次開發多終端部署。
完整且易用的高通AI軟件棧運行在高通強大的AI硬件之上。
去年發佈的第三代驍龍8搭載的高通AI引擎，CPU性能提升高達30%，GPU性能提升25%，Hexagon NPU性能更是翻倍。而擁有高通定製Oryon CPU的驍龍X Elite的NPU性能高達45TOPS，樹立了AI PC的標杆。
高通AI引擎是高通多年全棧AI優化的結晶，自2015年高通推出第一代AI引擎之後每年更新，如今搭載包含CPU、GPU、NPU等異構架構的高通AI引擎的產品出貨量已經超過25億，涵蓋手機、XR、汽車、平板、PC、機器人等，是高通推動端側AI發展獨特的優勢。
小米14 Pro、OPPO Find X7 Ultra、榮耀Magic6等一系列搭載第三代驍龍8的旗艦手機，發揮了高通AI引擎的能力，率先落地了圖像擴充、智慧成片和智慧創建日程、AI消除等A I功能，這些手機的熱銷充分說明了消費者的認可。
驍龍X系列平台是支持包括微軟Surface Pro和Surface Laptop在內首批Windows 11 AI+ PC的獨家平台，這讓高通成爲移動計算領域領導者的同時，其NPU的強大實力也得到了認可。
將於10月22日-24日舉辦的2024驍龍峯會，新一代旗艦移動平台將再次煥新，CPU和AI是最值得關注的焦點。
全新一代驍龍8，會帶來哪些AI新玩法？
高通一直是全球爲數不多兼具連接和計算領導力的公司。去年，驍龍峯會上驍龍X Elite一亮相就驚豔全場，憑藉着高通的自研Oryon CPU，以及包含NPU的異構AI引擎，性能超越同級別的蘋果M系列處理器以及x86處理器。
今年即將發佈的新一代驍龍8移動平台，將首次搭載高通Oryon CPU。以去年驍龍X Elite上Oyron CPU的驚豔表現預計，新一代驍龍8移動平台的CPU性能或將實現飛躍式進步。
加之可能進一步升級的GPU和NPU，新一代驍龍8的AI性能將令人矚目。 此外，結合集成有高通AI規劃器的高通AI軟件棧，未來手機和PC廠商的智能體應用將有望獲得更好體驗。
但更讓人期待的是，在輕量級生成式AI模型快速迭代時代，結合對AI技術發展敏銳和準確的洞察，高通能夠充分利用基於強大驍龍8平台以及全球領先的5G Advanced、Wi-Fi、藍牙連接技術，帶來一系列前瞻的端側AI應用，這將包含哪些驚喜？
這是一個即將揭曉的答案，從高通即將展示的前沿、新鮮用例中將可以窺見AI手機和AI PC新一輪的應用創新。
汽車、XR等業務也是高通重要的產品線，高通去年介紹了Snapdragon Seamless功能，展示了搭載驍龍平台的安卓手機和PC間進行協作和文件傳輸，這一功能今年是否會進一步拓展到汽車和XR等更多終端，帶來全新的智能體體驗？
從高通戰略的前瞻性、AI技術的領導力和產品業務的廣泛佈局，可以看到高通在生成式AI時代保持領先，未來高通將會把AI帶到更廣泛的終端中，成爲混合AI時代的重要推動者。
