追蹤AI最新趨勢

影響英偉達根本邏輯的大爭論：OpenAI改變策略意味着什麼？誰在撒謊？

目前为止，AI硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。

大模型预训练“缩放定律”定律失效？模型推理成“解药”，$英伟达 (NVDA.US)$一家独大格局要变天？

“缩放定律”指导下，AI大模型预训练目前遭遇瓶颈。据路透12日报道，硅谷主要AI实验室的新模型训练计划目前普遍进展不顺，新模型训练遭遇拖延和令人失望的结果。比起GPT-4o，Orion被曝几乎没有任何改进，谷歌的Gemini 2.0也存在类似问题。

为克服瓶颈，OpenAI正探索“测试时计算”（training runs）技术，让模型不再受限于预训练，而能够以多步骤方法思考问题（推理）来提升表现。报道称，相关技术的应用最终推动OpenAI发布o1模型。

这可能会改变人工智能硬件的竞争格局。

目前为止，AI硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。

“缩放定律”面临挑战

硅谷主要AI实验室的新模型训练目前普遍进展不顺。

据科技媒体The Information报道，OpenAI开发的下一个旗舰模型“Orion”，目前已经完成20%的训练。尽管表现已接近现有的GPT-4，但进步幅度却远不如前两代旗舰模型之间的飞跃。

Orion在语言任务上表现更好，但在编码等任务上可能不会优于以前的模型。且与最近发布的其他模型相比，OpenAI在其数据中心运行 Orion 的成本可能更高。

Orion的进展放缓直接挑战了人工智能领域一直奉行的“缩放定律”，即在数据量和计算资源不断增加的前提下，模型性能将持续大幅度提升。

当年最早将“缩放定律”应用于实践，并最终成功创造出ChatGPT的前Open AI联合创始人Ilya Sutskever在接受路透采访时直言，AI模型扩展训练的结果，已经趋于平稳。通过在预训练中使用更多的数据和算力，让AI模型性能暴涨的阶段可能已经到头了：

2010年代是“缩放定律”的时代，现在，我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。
现在重要的是“扩大正确的规模”。

Ilya透露，他的团队正在研究一种全新的替代方法，来扩展预训练。

“测试时计算”会是破局方法吗？

OpenAI则极力否认AI模型训练面临瓶颈。作为应对，OpenAI研究人员正在探索一项“测试时计算”（training runs）的技术。十几位AI科学家、研究人员和投资者告诉路透社，他们认为正是这些技术，推动了OpenAI发布o1模型。

所谓测试时计算技术，是指在推理阶段（模型被使用时）就将模型增强，让模型可以实时生成和评估多种可能性，而不是理解选择单一答案，最终选择出最佳路径。

这种方法可以允许模型将更多的处理能力，用于数学、编码问题等具有挑战性的任务，及需要类人推理和决策的复杂操作。

在新技术的运用下，o1在GPT-4等基础模型上进行另一套训练。该模型不再受限于预训练，而能够以多步骤方法思考问题（类似于人类推理）来提升表现。o1还涉及了来自博士和行业专家策划的数据和反馈。

参与o1开发的OpenAI 研究员在上个月TEDAI大会上直言：

让AI在一手扑克牌中思考20秒，所获得的性能提升，与将模型扩大10万倍、训练时间延长10万倍的效果相同。

英伟达垄断地位有望打破？

其他科技巨头也在积极跟进。

路透援引多名知情人士报道称，来自Anthropic、xAI 和 Google DeepMind 等其他顶尖人工智能实验室的研究人员也在开发自己的技术版本的“测试时计算”。

这可能会改变人工智能硬件的竞争格局。

目前为止，AI硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。

从红杉资本到 Andreessen Horowitz 等知名风险投资公司，他们已经投入数十亿美元资助 OpenAI 和 xAI 等多个人工智能实验室昂贵的人工智能模型开发，他们正在关注这一转变，并权衡其昂贵赌注的影响。

红杉资本合伙人 Sonya Huang 向路透社表示：

这种转变将使我们从大规模预训练集群的世界转向推理云，即用于推理的分布式云服务器。

这或许打破英伟达在训练芯片领域的垄断地位，公司在推理芯片市场可能会面临更多竞争。类似Groq的推理芯片公司或能“撕开”行业缺口。

英伟达也坦诚推理芯片需求的变化，在上个月印度演讲中，黄仁勋谈到了新技术对芯片进行推理的需求不断增加，强调了 o1 模型背后的技术的重要性：

我们现在发现了第二条“缩放定律”，这是推理时的“缩放定律”……所有这些因素都导致对 Blackwell 的需求非常高。

编辑/ping

目前爲止，AI硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果。市場需求或將從大規模預訓練集群轉向推理雲，英偉達在推理芯片市場可能會面臨更多競爭。

大模型預訓練「縮放定律」定律失效？模型推理成「解藥」，$英偉達 (NVDA.US)$一家獨大格局要變天？

「縮放定律」指導下，AI大模型預訓練目前遭遇瓶頸。據路透12日報道，硅谷主要AI實驗室的新模型訓練計劃目前普遍進展不順，新模型訓練遭遇拖延和令人失望的結果。比起GPT-4o，Orion被曝幾乎沒有任何改進，谷歌的Gemini 2.0也存在類似問題。

爲克服瓶頸，OpenAI正探索「測試時計算」（training runs）技術，讓模型不再受限於預訓練，而能夠以多步驟方法思考問題（推理）來提升表現。報道稱，相關技術的應用最終推動OpenAI發佈o1模型。

這可能會改變人工智能硬件的競爭格局。

目前爲止，AI硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果，那新一代模型可能就不再需要那麼大的參數，較小的模型將直接降低成本。市場需求或將從大規模預訓練集群轉向推理雲，英偉達在推理芯片市場可能會面臨更多競爭。

「縮放定律」面臨挑戰

硅谷主要AI實驗室的新模型訓練目前普遍進展不順。

據科技媒體The Information報道，OpenAI開發的下一個旗艦模型「Orion」，目前已經完成20%的訓練。儘管表現已接近現有的GPT-4，但進步幅度卻遠不如前兩代旗艦模型之間的飛躍。

Orion在語言任務上表現更好，但在編碼等任務上可能不會優於以前的模型。且與最近發佈的其他模型相比，OpenAI在其數據中心運行 Orion 的成本可能更高。

Orion的進展放緩直接挑戰了人工智能領域一直奉行的「縮放定律」，即在數據量和計算資源不斷增加的前提下，模型性能將持續大幅度提升。

當年最早將「縮放定律」應用於實踐，並最終成功創造出ChatGPT的前Open AI聯合創始人Ilya Sutskever在接受路透採訪時直言，AI模型擴展訓練的結果，已經趨於平穩。通過在預訓練中使用更多的數據和算力，讓AI模型性能暴漲的階段可能已經到頭了：

2010年代是「縮放定律」的時代，現在，我們再次回到了奇蹟和發現的時代。每個人都在尋找下一個奇蹟。
現在重要的是「擴大正確的規模」。

Ilya透露，他的團隊正在研究一種全新的替代方法，來擴展預訓練。

「測試時計算」會是破局方法嗎？

OpenAI則極力否認AI模型訓練面臨瓶頸。作爲應對，OpenAI研究人員正在探索一項「測試時計算」（training runs）的技術。十幾位AI科學家、研究人員和投資者告訴路透社，他們認爲正是這些技術，推動了OpenAI發佈o1模型。

所謂測試時計算技術，是指在推理階段（模型被使用時）就將模型增強，讓模型可以實時生成和評估多種可能性，而不是理解選擇單一答案，最終選擇出最佳路徑。

這種方法可以允許模型將更多的處理能力，用於數學、編碼問題等具有挑戰性的任務，及需要類人推理和決策的複雜操作。

在新技術的運用下，o1在GPT-4等基礎模型上進行另一套訓練。該模型不再受限於預訓練，而能夠以多步驟方法思考問題（類似於人類推理）來提升表現。o1還涉及了來自博士和行業專家策劃的數據和反饋。

參與o1開發的OpenAI 研究員在上個月TEDAI大會上直言：

讓AI在一手撲克牌中思考20秒，所獲得的性能提升，與將模型擴大10萬倍、訓練時間延長10萬倍的效果相同。

英偉達壟斷地位有望打破？

其他科技巨頭也在積極跟進。

路透援引多名知情人士報道稱，來自Anthropic、xAI 和 Google DeepMind 等其他頂尖人工智能實驗室的研究人員也在開發自己的技術版本的「測試時計算」。

這可能會改變人工智能硬件的競爭格局。

目前爲止，AI硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果，那新一代模型可能就不再需要那麼大的參數，較小的模型將直接降低成本。

從紅杉資本到 Andreessen Horowitz 等知名風險投資公司，他們已經投入數十億美元資助 OpenAI 和 xAI 等多個人工智能實驗室昂貴的人工智能模型開發，他們正在關注這一轉變，並權衡其昂貴賭注的影響。

紅杉資本合夥人 Sonya Huang 向路透社表示：

這種轉變將使我們從大規模預訓練集群的世界轉向推理雲，即用於推理的分佈式雲服務器。

這或許打破英偉達在訓練芯片領域的壟斷地位，公司在推理芯片市場可能會面臨更多競爭。類似Groq的推理芯片公司或能「撕開」行業缺口。

英偉達也坦誠推理芯片需求的變化，在上個月印度演講中，黃仁勳談到了新技術對芯片進行推理的需求不斷增加，強調了 o1 模型背後的技術的重要性：

我們現在發現了第二條「縮放定律」，這是推理時的「縮放定律」……所有這些因素都導致對 Blackwell 的需求非常高。

編輯/ping

譯文內容由第三人軟體翻譯。

以上內容僅用作資訊或教育之目的，不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。