來源：華爾街見聞 作者：李丹
英偉達稱，Blackwell的成本和能耗較前代改善25倍，是全球最強大芯片，由 2080 億個晶體管組成，採用台積電4nm製程，支持多達10萬億參數的模型進行AI訓練和實時大語言模型（LLM）推理；GB200 NVL72推理性能較H100提升高達30倍；亞馬遜、微軟、谷歌和甲骨文在首批提供Blackwell支持的雲服務商之列；台積電和Synopsys將採用英偉達計算光刻技術；英偉達推出新軟件NIM，讓用戶更容易利用已有英偉達GPU進行AI推理。
號稱今年全球頭號人工智能（AI）領域開發者大會的英偉達2024 GTC AI大會於美東時間3月18日週一拉開帷幕。
今年是英偉達時隔五年首次讓年度GTC重回線下，也是此前分析認爲英偉達要“拿出點真傢伙”的AI盛會。
當地時間週一下午，英偉達創始人兼CEO 黃仁勳在美國加州聖何塞SAP中心進行主題爲“面向開發者的1#AI峯會”（1# AI Conference for Developers）演講。
Blackwell成本和能耗較前代改善25倍 全球最強大芯片 台積電4 nm製程
黃仁勳介紹了運行AI模型的新一代芯片和軟件。英偉達正式推出名爲Blackwell的新一代AI圖形處理器（GPU），預計將在今年晚些時候發貨。
Blackwell平台能夠在萬億參數級的大型語言模型（LLM）上構建和運行實時生成式 AI，而成本和能耗比前代改善25倍。
英偉達稱，Blackwell擁有六項革命性的技術，可以支持多達10萬億參數的模型進行AI訓練和實時LLM推理：
全球最強大的芯片：Blackwell 架構 GPU由 2080 億個晶體管組成，採用量身定製的台積電4納米（nm）工藝製造，兩個reticle極限GPU裸片將10 TB/秒的芯片到芯片鏈路連接成單個統一的GPU 。
第二代 Transformer引擎：結合了Blackwell Tensor Core技術和TensorRT-LLM和 NeMo Megatron 框架中的 英偉達先進動態範圍管理算法，Blackwell 將通過新的4位浮點AI 支持雙倍的計算和模型大小推理能力。
第五代 NVLink：爲提高數萬億參數和混合專家AI 模型的性能，最新一代英偉達NVLink爲每個 GPU 提供了突破性的 1.8TB/s 雙向吞吐量，確保最複雜LLM之間多達576 個GPU 之間的無縫高速通信。
RAS 引擎 ：Blackwell 支持的 GPU 包含一個專用引擎，實現可靠性、可用性和服務性。 此外，Blackwell 架構還增加了芯片級功能，利用基於AI的預防性維護進行診斷和預測可靠性問題。這可以最大限度地延長系統正常運行時間，並提高大部署規模AI的彈性，使其能連續運行數週甚至數月，並降低運營成本。
安全人工智能：先進的機密計算功能可在不影響性能的情況下保護AI模型和客戶數據，並支持新的本機接口加密協議，這對於醫療保健和金融服務等隱私敏感行業至關重要。
解壓縮引擎：專用解壓縮引擎支持最新格式，加快數據庫查詢，提供數據分析和數據科學的最高性能。 未來幾年，在企業每年花費數百億美元的數據處理方面，將越來越多地由 GPU 加速。
GB200 NVL72推理性能較H100提升高達30倍
英偉達同時介紹超級芯片GB200 Grace Blackwell Superchip，它通過 900GB/s的超低功耗NVLink，將兩個B200 Tensor Core GPU 連接到NVIDIA Grace CPU。
爲了獲得最高的 AI 性能，GB200 驅動的系統可以與週一同時宣佈的英偉達Quantum-X800 InfiniBand 和 Spectrum-X800 以太網平台連接，這些平台可提供速度高達 800Gb/s 的高級網絡。
GB200是英偉達GB200 NVL72 的關鍵組件，GB200 NVL72 是一種多節點、液冷、機架規模系統，適用於計算最密集的工作負載。 它結合了 36 個 Grace Blackwell 超級芯片，其中包括通過第五代 NVLink 互連的 72 個 Blackwell GPU 和 36 個 Grace CPU。GB200 NVL72 還包括 NVIDIA BlueField®-3 數據處理單元，可在超大規模 AI 雲中實現雲網絡加速、可組合存儲、零信任安全性和 GPU 計算彈性。
相比數量的H100 Tensor Core GPU 相比，GB200 NVL72 對於 LLM 推理工作負載的性能提升高達 30 倍，並將成本和能耗降低高達 25 倍。
GB200 NVL72平台充當單個 GPU具有 1.4 exaflops 的 AI 性能和 30TB 的快速內存，是最新 DGX SuperPOD 的構建塊。
英偉達推出服務器主板HGX B200，它通過 NVLink 連接八個 B200 GPU，以支持基於 x86 的生成式 AI 平台。 HGX B200 通過英偉達Quantum-2 InfiniBand 和 Spectrum-X 以太網網絡平台支持高達 400Gb/s 的網絡速度。
亞馬遜、微軟、谷歌和甲骨文在首批提供Blackwell支持的雲服務商之列
Blackwell芯片將成爲亞馬遜、微軟、谷歌這類全球最大數據中心運營商部署新電腦和其他產品的基礎。基於Blackwell的產品將在今年晚些時候問世。
英偉達稱，亞馬遜雲AWS、谷歌雲、微軟雲Azure 和甲骨文雲基礎設施Oracle Cloud Infrastructure將成爲首批提供Blackwell支持實例的雲服務提供商，英偉達雲合作伙伴計劃的成員公司Applied Digital、CoreWeave、Crusoe、IBM Cloud 和 Lambda 也將成爲首批提供 Blackwell 實例的雲服務提供商。
面向主權的Sovereign AI 雲還將提供基於 Blackwell 的雲服務和基礎設施，包括 Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、Oracle歐盟主權雲、Oracle 美國、英國和澳大利亞政府雲、Scaleway、Singtel、Northern Data Group 的 Taiga Cloud、 Yotta Data Services 的 Shakti Cloud 和 YTL Power International。
黃仁勳說，“三十年來，我們一直在追求加速計算，目標是實現深度學習和AI這類方面的變革性突破。生成式AI是我們這個時代的決定性技術。 Blackwell是推動這場新工業革命的引擎。 通過與世界上最具活力的公司合作，我們將實現AI在各行各業的承諾。”
英偉達在公告通稿中列舉了料將採用Blackwell的一些組織，比如微軟、亞馬遜、谷歌、Meta、戴爾、OpenAI、甲骨文、馬斯克領導的特斯拉和 xAI。黃仁勳介紹了包括這些公司在內的更多合作伙伴。
黃仁勳還提到，台積電和Synopsys將採用英偉達計算光刻技術，起用英偉達的計算光刻平台CuLitho。
台積電和Synopsys已經整合英偉達的Culitho W軟件。他們將用英偉達的下一代 Blackwell GPU 來實現AI 和 HPC 應用。
新軟件NIM讓用戶更容易利用已有英偉達GPU進行AI推理
英偉達同時宣佈推出名爲英偉達NIM的推理微服務，它是優化的雲原生微服務，旨在縮短生成式 AI 模型的上市時間並簡化它們在雲、數據中心和 GPU 加速工作站上的部署。
英偉達NIM通過使用行業標準 API 抽象化 AI 模型開發和生產包裝的複雜性來擴展開發人員庫。它是英偉達AI Enterprise 的一部分，爲開發 AI 驅動的企業應用程序和在生產中部署 AI 模型提供了簡化的路徑。
NIM讓用戶使用舊版英偉達GPU進行推理或運行AI軟件的過程變得更容易，並允許企業客戶繼續用他們已有的英偉達GPU。推理所需的算力比最初訓練新的AI模型的少。 NIM 讓企業能運行自己的AI 模型，而不是從OpenAI 等公司購買AI的成果。
基於英偉達服務器的客戶只要訂閱英偉達AI Enterprise 就可使用NIM，每個GPU每年的許可費用爲 4500 美元。
英偉達將與微軟和Hugging Face 等AI公司合作，確保他們的AI模型能夠在所有兼容的英偉達芯片上運行。使用NIM的開發者可以在自己的服務器或基於雲的 英偉達服務器上高效地運行模型，而無需冗長的配置過程。
評論稱，NIM這種軟件讓部署AI變得更容易，不但爲英偉達創收，而且給客戶提供了又一個堅持使用英偉達芯片的理由。
編輯/lambor