來源:券商中國
作者:時謙
英偉達也認可了!
據 $英偉達 (NVDA.US)$ 官網最新消息,爲了幫助開發人員安全地試驗這些功能並構建自己的專用代理,6710億參數的DeepSeek-R1模型現已作爲NVIDIA NIM微服務預覽版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服務可以在單個NVIDIA HGX H200系統上每秒提供多達3872個令牌。開發人員可以使用應用程序編程接口(API)進行測試和試驗,該接口預計很快將作爲可下載的NIM微服務提供,是NVIDIA AI Enterprise軟體平台的一部分。
此外,英偉達還在官網中表示,DeepSeek-R1是一個具有最先進推理能力的開放模型。DeepSeek-R1等推理模型不會提供直接響應,而是對查詢進行多次推理,採用思路鏈、共識和搜索方法來生成最佳答案。
來自英偉達的認可
英偉達稱,DeepSeek-R1等推理模型不會提供直接響應,而是對查詢進行多次推理,採用思路鏈、共識和搜索方法來生成最佳答案。執行這一系列推理過程(使用推理得出最佳答案)稱爲測試時間擴展。DeepSeek-R1是此擴展定律的完美示例,證明了加速計算對於代理AI推理的需求至關重要。
由於模型可以反覆「思考」問題,因此它們會創建更多輸出標記和更長的生成周期,因此模型質量會不斷提高。大量的測試時計算對於實現實時推理和來自DeepSeek-R1等推理模型的更高質量響應至關重要,這需要更大規模的推理部署。R1在需要邏輯推理、推理、數學、編碼和語言理解的任務中提供了領先的準確性,同時還提供了高推理效率。
爲了幫助開發人員安全地試驗這些功能並構建自己的專用代理,6710億參數的DeepSeek-R1模型現已作爲NVIDIA NIM微服務預覽版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服務可以在單個NVIDIA HGX H200系統上每秒提供多達3872個令牌。開發人員可以使用應用程序編程接口(API)進行測試和試驗,該接口預計很快將作爲可下載的NIM微服務提供,是NVIDIA AI Enterprise軟體平台的一部分。
DeepSeek-R1 NIM微服務通過支持行業標準API簡化了部署。企業可以通過在其首選的加速計算基礎設施上運行NIM微服務來最大限度地提高安全性和數據隱私。通過使用NVIDIA AI Foundry和NVIDIA NeMo軟體,企業還可以爲專門的AI代理創建定製的DeepSeek-R1 NIM微服務。
DeepSeek-R1是一個大型混合專家(MoE)模型。它包含了令人印象深刻的6710億個參數——比許多其他流行的開源LLM多10倍——支持128000個Token的大輸入上下文長度。該模型還在每個層中使用了極多的專家。R1的每一層都有256位專家,每個Token並行路由到八個不同的專家進行評估。
爲R1提供實時答案需要許多具有高計算性能的GPU,並通過高帶寬和低延遲通信進行連接,以將提示令牌路由到所有專家進行推理。結合NVIDIA NIM微服務中提供的軟體優化,一臺使用NVLink和NVLink Switch連接的帶有八個H200 GPU的服務器可以以每秒高達3872個令牌的速度運行完整的6710億參數DeepSeek-R1模型。這種吞吐量是通過在每一層使用 NVIDIA Hopper 架構的FP8 Transformer Engine實現的,並且使用900GB/s的NVLink帶寬進行MoE專家通信。
充分利用GPU的每秒浮點運算(FLOPS)性能對於實時推理至關重要。下一代NVIDIA Blackwell架構將通過第五代Tensor Core大幅提升 DeepSeek-R1等推理模型的測試時間擴展,第五代Tensor Core可提供高達20 petaflops的峰值FP4計算性能,以及專門針對推理優化的72-GPU NVLink域。
從開源到復現
近日,加州大學伯克利分校的研究人員開發出了中國開發的 AI 語言模型DeepSeek R1-Zero的小規模語言模型複製品,成本約爲30美元。語言模型TinyZero是由校園研究生Jiayi Pan和其他三名研究人員領導的項目,由校園教授Alane Suhr教授和伊利諾伊大學厄巴納-香檳分校助理教授Hao Peng指導。
DeepSeek的R1模型權重和代碼庫採用公共MIT許可證,因此Pan和他的團隊能夠訪問基礎代碼來訓練一個明顯小得多的模型。潘表示,TinyZero同樣是開源的,這意味着代碼可供公衆使用。他說,TinyZero 的開源性質允許人們下載代碼並嘗試訓練和修改模型。「小規模複製非常容易實現,而且成本非常低,即使人們將其作爲實驗的副項目,」潘說。「從項目一開始,我們的目標基本上就是揭開如何訓練這些模型的神祕面紗,更好地理解它們背後的科學和設計決策。」
昨天,$微軟 (MSFT.US)$官網顯示,DeepSeek R1現已在Azure AI Foundry和 GitHub上的模型目錄中提供,加入了1800多個模型的多樣化產品組合,包括前沿、開源、行業特定和基於任務的AI模型。作爲Azure AI Foundry的一部分,DeepSeek R1可在值得信賴、可擴展且企業級就緒的平台上訪問,使企業能夠無縫集成高級AI,同時滿足SLA、安全性和負責任的AI承諾——所有這些都由Microsoft的可靠性和創新支持。
黑石最新態度
本週,硅谷、華盛頓、華爾街等地的領導人因中國人工智能公司DeepSeek的意外崛起而陷入混亂。許多分析師認爲DeepSeek的成功動搖了推動美國人工智能行業發展的核心信念。
但人工智能科學家反駁說,許多擔憂都是誇大其詞。他們表示,儘管DeepSeek確實代表了人工智能效率的真正進步,但美國人工智能行業仍然具有關鍵優勢。蘭德公司人工智能研究員倫納特·海姆表示:「這並不是人工智能前沿能力的飛躍。我認爲市場只是搞錯了。」
另外,截至目前,私募股權巨頭、全球主要人工智能系統數據中心投資者黑石集團仍持樂觀態度。「我們仍然認爲,實體基礎設施、數據中心和電力的需求十分迫切,」黑石總裁喬納森·格雷(Jonathan Gray)週四在與投資者舉行的第四季度業績電話會議上表示。「這些需求的使用方式可能會發生變化。」
格雷表示,與投資界和企業界的大多數人一樣,黑石集團的高管在過去一週花了大量時間來權衡DeepSeek的影響。近年來,黑石集團積極購買和建設數據中心,這是科技公司運行人工智能系統所使用的物理基礎設施。2021年,黑石集團以100億美元收購了美國數據中心公司QTS,去年,黑石集團牽頭以約160億美元收購了在亞洲運營數據中心的AirTrunk。
格雷同時預計,隨着人工智能計算能力成本的大幅下降,人工智能將得到更廣泛的應用。換句話說,雖然人工智能模型回答特定問題所需的能力可能會減少,但人們會提出更多問題。格雷表示,黑石集團只爲簽訂長期租約的科技公司建造數據中心。「我們不會投機性地建造它們。」他指出,客戶使用這些數據中心的方式很可能會改變。
AI應用熱潮來襲!善用「投資主題」功能,捕捉投資機會。
打開富途牛牛>美股>投資主題>AI應用軟件股
編輯/Jeffy
評論(37)
請選擇舉報原因