來源:科創板日報
①OpenAI聯合創始人Ilya Sutskever指出,數據資源耗盡,下一代AI模型將是真正的AI Agent,且具備推理能力。②OpenAI近期發佈的o1模型,最突出的一項性能便是「會推理思考」。③推理計算的需求甚至可以達到訓練計算的4.5倍,ASIC定製化芯片有望崛起。
ChatGPT面世兩年多以來,AI的主戰場正在轉向,從訓練端轉向一個規模更大、競爭更爲激烈的領域:推理。推理被視作AI大模型的「下半場」,在上半場中,競爭聚焦於快速預訓練響應,而如今,AI推理時代正在漸漸逼近,更多目光開始投向了慢速深度推理。
「AI預訓練時代無疑將終結。」在溫哥華NeurIPS大會上,OpenAI聯合創始人兼前首席科學家伊利亞•蘇茨克維爾(Ilya Sutskever)直言。
今年5月離開OpenAI之後,Ilya Sutskever創立了自己的AI實驗室Safe Superintelligence,之後他鮮少公開露面,直至這一次亮相。
Ilya Sutskever在這場演講中將數據比作化石燃料,而燃料終將耗盡。“算力在增長,但數據卻沒有增長,因爲我們只有一個互聯網……我們已經達到了數據峯值,不會再有更多數據了,我們必須處理好現有的數據。”
現有數據仍可推動AI進一步發展,業內也正在竭力挖掘新數據進行訓練,這種情況最終將迫使行業改變目前的AI模型訓練方式。
其預計,下一代AI模型將是真正的AI Agent,且具備推理能力——目前的AI主要根據大模型之前學習過的內容進行匹配,而未來的AI則能以更接近思考的方式來一步步解決問題。「它們能根據有限的數據理解事物,也不會感覺困惑。」他補充,AI推理得越多,就越難以預測。
一定程度來說,Ilya Sutskever的說法與OpenAI不久前的表態與最新動向不謀而合——用推理彌補數據瓶頸。
在11月末的一場路邊談話中,OpenAI高級研究副總裁Mark Chen否認了「Scaling Law撞牆」。他表示,「我們準確地掌握了需要解決的技術挑戰」,OpenAI已經有o系列和GPT系列兩個模型,來讓模型繼續保持Scaling。
其中,OpenAI近日發佈的o1模型就是推理模型。其最突出的地方便在於「會推理」:在給出回答之前,o1會思考,通過產生一個很長的內部思維鏈(CoT),逐步推理,模仿人類思考複雜問題的過程。
這個過程也與Ilya Sutskever所說的「以更接近思考的方式來一步步解決問題」更加貼合。
或許對於一般用戶而言,o1模型的這種轉變不易察覺,但The Atlantic指出,研究人員已認識到,與GPT等舊模型相比,o1模型不僅僅是一次簡單的升級,而是標誌着一個「完全不同的遊戲規則」和「真正的進步」。
AI推理時代來了?
預訓練時代或許行將落幕,而在AI算力「蹺蹺板」的另一頭,推理正在崛起。
近幾日多家券商研報都指出,隨着端側AI放量,豆包、ChatGPT等AI應用快速發展,算力需求會加速從預訓練向推理側傾斜,推理有望接力訓練,成爲下一階段算力需求的主要驅動力。
進一步來說,隨着大規模AI模型普及,推理需求不斷擴大並趨於多樣化,定製化芯片的需求也有望擴大。
巴克萊的另一份報告預計,AI推理計算需求將快速提升,預計其將佔通用人工智能總計算需求的70%以上,推理計算的需求甚至可以超過訓練計算需求,達到後者的4.5倍。$英偉達 (NVDA.US)$GPU目前在推理市場中市佔率約80%,但隨着大型科技公司定製化ASIC芯片不斷湧現,這一比例有望在2028年下降至50%左右。
$博通 (AVGO.US)$上週發佈的業績也已證明了ASIC的需求之旺盛:2024財年公司的人工智能收入增長220%,達到122億美元;其預計AI產品收入將在2025財年第一財季同比增長65%。博通還透露,目前正在與三個非常大型的客戶開發AI芯片,預計明年公司AI芯片的市場規模爲150億-200億美元。
隨着 $谷歌-C (GOOG.US)$ 、 $亞馬遜 (AMZN.US)$ AWS等科技巨頭紛紛加大對定製化AI芯片的研發投入,以強化在人工智能領域的技術優勢和供應鏈控制力,國金證券今日研報指出,這一趨勢不僅助力企業應對日益複雜的 AI 需求,還推動了整個自研芯片賽道的高景氣度和持續創新。未來,自研芯片將在 AI 推理和訓練領域扮演關鍵角色,成爲降本增效和提升算力的重要手段。
編輯/Rocky