Elon Musk的人工智能初創公司 xAI 已啓動位於田納西州孟菲斯的超級計算機集群，該集群由100,000個 $英偉達 (NVDA.US)$H100 GPU組成。$特斯拉 (TSLA.US)$首席執行官埃隆·馬斯克在社交媒體平台X上的一篇帖子中證實了這一里程碑。
xAI 的超級計算機集群預計將用於訓練該公司的大型語言模型Grok，該模型目前作爲X Premium訂閱者的一項功能推出。本月早些時候，馬斯克在 X 上的一篇文章中指出，xAI的Grok 3將在100000個H100 GPU 上進行訓練，因此“這應該是一件非常特別的事情”。
馬斯克進一步詳細說明，該集群由100000個液冷H100圖形處理單元 (GPU)組成，這是 Nvidia 從去年開始提供的芯片，受到AI模型提供商的高度需求，包括馬斯克在OpenAI的競爭對手（和前朋友）。
馬斯克還指出，該集群在單個RDMA結構或遠程直接內存訪問結構上運行，思科指出這是一種在不增加中央處理單元 (CPU) 負擔的情況下在計算節點之間提供更高效、更低延遲的數據傳輸的方式。
顯然，xAI 的目標是在超級集群上訓練自己的大模型。但更重要的是，馬斯克在回覆中表示，該公司的目標是訓練“按各指標衡量世界上最強大的人工智能”，並“在今年 12 月之前”實現這一目標。
他還發文稱，孟菲斯超級集群將爲此提供“顯著優勢”。
5 月份，我們報道了馬斯克計劃在 2025 年秋季之前開設超級計算工廠的雄心。當時，馬斯克急於開始超級集群的開發，因此必須購買當前一代的“Hopper”H100 GPU。這似乎表明這位科技巨頭沒有耐心等待H200 芯片的推出，更不用說即將推出的基於Blackwell的B100和B200 GPU。儘管人們預計較新的Nvidia Blackwell數據中心GPU將在 2024 年底之前發貨，但情況仍然如此。
那麼，如果超級計算工廠預計將於 2025 年秋季開業，那麼今天的新聞是否意味着該項目提前一年實現？確實可能提前了，但更有可能的是，今年早些時候接受路透社和 The Information 採訪的消息人士在項目時間方面說錯了話或被錯誤引用了。此外，隨着 xAI 孟菲斯超級集群已經啓動並運行，關於 xAI 爲什麼不等待更強大或下一代 GPU 的問題得到了解答。
超微提供了大部分硬件，該公司首席執行官也在馬斯克的帖子下發表評論，稱讚該團隊的執行力。此前，超微CEO最近對馬斯克的液冷 AI 數據中心大加讚賞。
在後續推文中，馬斯克解釋說，新的超級集群將“訓練世界上所有指標中最強大的人工智能”。從之前的意向聲明中，我們假設 xAI 的 100,000 個 H100 GPU 安裝的功能現在將用於 Grok 3 訓練。馬斯克表示，改進後的 LLM 應該“在今年 12 月”完成訓練階段。
如果要將孟菲斯超級集群的計算資源放在某種背景下來看，當然，從規模上看，新的 xAI 孟菲斯超級集群在GPU馬力方面輕鬆超越了最新Top500榜單上的任何一臺超級計算機。世界上最強大的超級計算機，如 Frontier（37,888 個 AMD GPU）、Aurora（60,000 個 Intel GPU）和Microsoft Eagle（14,400 個 Nvidia H100 GPU），似乎都遠遠落後於 xAI 機器。
早在6 月初的報道中就披露，xAI 將在佔地 785,000 平方英尺的前伊萊克斯孟菲斯工廠建造一個超級計算機集群，非正式地稱爲“計算超級工廠” 。大孟菲斯商會在一份新聞稿中表示，xAI 的超級計算機項目是孟菲斯歷史上新上市公司在該市進行的最大資本投資。
xAI 的投資規模巨大。根據Benzinga 的一份報告，每塊 Nvidia H100 GPU 的成本估計在 30,000 至 40,000 美元之間。考慮到 xAI 使用了 100,000 臺 Nvidia H100 單元，埃隆·馬斯克的 AI 初創公司似乎爲該項目花費了約30億至40億美元。
值得一提的是，Elon Musk旗下的特斯拉已部署了約 35,000 臺 Nvidia H100用於訓練自動駕駛汽車，並使用其定製的Dojo芯片開發超級計算機。
編輯/Jeffrey