share_log

如何用GPU挣更多的钱?

如何用GPU掙更多的錢?

半導體行業觀察 ·  05/03 11:41

如果您希望可以時常見面,歡迎標星 收藏哦~

來源:內容來自the nextplatform,謝謝。

無獨有偶,2023 年從 Nvidia 獲得最多 “Hopper ”H100 分配的公司也是超大規模公司和雲計算構建商,它們在很多情況下都身兼兩職,既有興趣出租 GPU 容量供他人構建人工智能模型,也有興趣在大型語言模型開發方面進行創新。

顯然,Nvidia 非常希望在競爭對手開始蠶食其在 LLM 加速計算方面的近乎壟斷地位之前,能夠在生成式人工智能浪潮中榨取每一分錢。2022 年夏天,OpenAI 的 ChatGPT 作爲 API 推出,改變了數據中心計算的本質。

但是,GenAI 彩虹盡頭的聚寶盆並沒有因爲 Nvidia 而結束。隨着這些 GPU 的容量被出租,數以萬計的企業正試圖獲得 GPU 時鐘週期來訓練自己的模型,並希望以此來改變自己的業務,因此,錢袋子還在不斷增加。其中包括微軟Azure(15萬)、Meta Platforms(15萬)、亞馬遜網絡服務(5萬)、谷歌雲(5萬)、甲骨文雲基礎架構(5萬)、騰訊(5萬)、百度(3萬)和阿里巴巴(2.5萬)創建的大規模GPU綜合體,根據Omdia的數據,這些綜合體是根據它們的Nvidia H100分配來排名的,但其中也包括像CoreWeave(4萬)和Lambda(2萬)這樣的純GPU雲玩家。此外,還有兩張外卡:ByteDance(2 萬)和 Tesla(1.5 萬),它們是自己的東西,正在做自己的 LLM。

就本分析而言,CoreWeave 和 Lambda(前身爲 Lambda Labs)是最有趣的兩家公司,因爲它們在 GPU 分配和如何籌集風險資本方面大做文章。華爾街也希望它們能在今年或明年進行兩次大規模的首次公開募股。

我們理解所有的喧囂,但我們懷疑華爾街是否已經計算清楚。至於這些首次公開募股前公司的估值是否合理,我們留給你們自己去計算。我們認爲,從基本面來看,全球股市整體估值過高,而且幾十年來估值越來越高。但我們不會因此而影響我們的分析,因爲價值是一個相對而非絕對的指標。任何擁有 401(k) 賬戶的人都需要這些熱氣來證明自己的真實價值。(等等,也包括我們)。

我們來找點樂子。我們一直保存着這張迷人的圖表,它被埋藏在 2023 年 10 月的同一份財務報告中,其中包括 Nvidia 的路線圖,我們對其進行了編輯,使其更加準確,以備不時之需。至少從 Nvidia 高層的角度來看,它解釋了 GPU 騙局的經濟學原理:

左邊的餅圖很容易理解。如果你想成爲 GPU 雲計算領域的佼佼者,那麼就從 10 億美元開始吧。有了這筆錢,你就可以花 4 億美元購買總共 16,000 臺 H100 的人工智能服務器,再花 1 億美元購買 Nvidia 的 InfiniBand 網絡將它們連接起來。在這四年裏,你還需要花費 5 億美元來建造一個數據中心,並對其進行運營、供電和製冷。Nvidia 沒有對數據中心的成本或其中的鐵件進行折舊,但顯然你會這樣做。

我們不知道 Nvidia 是如何計算出 GPU 計算價格的,但按照 Nvidia 八路 DGX H100 的克隆版配置 GPU 服務器最低 40 萬美元左右的價格計算,2000 臺服務器的成本就是 8 億美元,而不是 4 億美元。我們認爲,考慮到對 H100 的巨大需求,超大規模用戶和雲計算構建者不會得到 46.7% 的折扣。

現在,請看右邊。Nvidia 表示,以每 GPU 小時 4 美元計算,四年內的租金機會約爲 25 億美元。我們必須施展一定的巫術才能得出這個數字,下面我們就來解釋一下。

首先,如果以 16,000 個 GPU 爲例,乘以四年內每小時 4 美元(按每年 365.25 天,每天 24 小時計算),那麼租金收入流爲 22.4 億美元。而不是 25 億美元。右邊的餅圖似乎暗示,通過使用更昂貴的 InfiniBand 網絡而不是以太網,可以將 GPU 的利用率提高 15%,四年內價值 3.5 億美元,並將 GPU 集群的吞吐量提高 25%,價值 6 億美元。如果假設總性能提高 43.8%,意味着只需要 11,130 個 H100 GPU,而不是 16,000 個,再乘以 11,130 個 GPU 四年內每 GPU 小時 4 美元的成本,就可以得到 25.1 億美元的租金收入。

啊,但是等等,通過分析亞馬遜網絡服務的 p5 GPU 實例價格(我們在去年七月做了詳細分析),我們知道八路 H100 系統實例的按需實例價格爲每小時 98.32 美元,即每 GPU 小時 12.29 美元。我們估計保留一年的實例價格爲每小時 57.63 美元,即每 GPU 小時 7.20 美元,我們知道保留三年的實例公佈價格爲 43.16 美元,即每 GPU 小時 5.40 美元。

我們認爲 GPU 租金不會因爲使用 InfiniBand 帶來的性能提升或利用率提高而改變。(我們知道 AWS 在這些 p5 實例中使用的不是 InfiniBand,而是其自己的 400 Gb/sec 以太網 EFAv2 實現)。因此,情況是這樣的:如果您有 16,000 個 GPU,並且您有按需實例(50%)、一年實例(30%)和三年實例(20%)的混合平均值,那麼四年的 GPU 租金收入爲 52.7 億美元,H100 GPU 的平均成本爲每小時 9.40 美元。使用 InfiniBand 提高了效率,這意味着雲計算可以更快地讓更多客戶使用這些 GPU,但這並不會改變每小時的租賃成本。這只是意味着客戶可以更快地完成工作,更多客戶可以使用它,但一年只有 35,064 個小時,365.25 天。

因此,假設 H100 GPU 的價格更準確,InfiniBand 升級到 800 Gb/秒,AWS 上的 p5 實例條款組合定價更準確,我們將如何編輯 Nvidia 製作的圖表:

你需要知道:你爲 Nvidia GPU 投入 8 億美元,爲數據中心和網絡再投入 7 億美元,如果你擁有按需和預留實例客戶的合理組合,你將再次獲得 5270 美元的收入。

我們認爲,AWS、微軟 Azure 和谷歌雲基礎架構之間的數字不會有太大差別,而且我們懷疑,只要 GPU 仍然稀缺,CoreWeave 或 Lambda 等公司的 GPU 價格(以及收入)最終會不會低得多。

一些值得思考的問題:長期租用較少數量的 GPU 總比短期租用較多數量的 GPU 便宜,這必須與任何給定規模的 LLM 的 GPU 內存容量和 GPU 內存帶寬需求相比較。客戶可能需要大量的 GPU 來存儲,而不是計算,但無論如何,他們都要爲計算付費。

正是考慮到這一點,我們才考慮了最近對 CoreWeave 和 Lambda 的投資。

CoreWeave 是一家比特幣挖礦公司,成立於紐約市郊區的新澤西州羅斯蘭德(Roseland),目前已轉向人工智能處理領域,該公司今天宣佈獲得了來自 Coatue 的 11 億美元 C 輪融資,Magnetar(領投 B 輪融資)以及 Altimeter Capital、Fidelity Management 和 Lykos Global Management 也參與了本輪融資。2023 年 12 月的 B 輪融資達到了 6.42 億美元,而在此之前,2023 年 4 月的 A 輪融資也達到了 4.2 億美元。去年 8 月,CoreWeave 還從 Magnetar 和黑石集團獲得了 23 億美元的債務融資。正是這筆資金讓 CoreWeave 在過去一年裏從三個數據中心發展到十四個數據中心。這就是 21.6 億美元的風險投資和 23 億美元的貸款,總計 44.6 億美元。這聽起來似乎很多,直到你意識到這是數據中心和 GPU 系統的成本,而這些數據中心和 GPU 系統總共擁有約 47,600 個 GPU。這聽起來似乎很多。

但有趣的是。如果將這個 GPU 數量與我們上面的對比進行計算,四年的租金收入將達到 156.8 億美元。也就是說,44.6 億美元的投入,換回了 156.8 億美元的收入。

假設 CoreWeave 能夠從其基礎設施中獲得 65% 至 70% 的營業收入,就像我們認爲 AWS 多年來能夠從其 GPU 實例中獲得的收入一樣,然後再支付銷售、營銷和其他費用,那麼這可能是一項相當不錯的投資業務。顯而易見的是,在 GPU 分配方面,組織的規模和速度對 Nvidia 來說非常重要,因爲 Nvidia 希望儘快將 GPU 週期交到人們手中,以便將 Jensen Way 傳播得更遠更廣。

CoreWeave 發現自己可以成爲一個利基市場的參與者,但要與超大規模企業和最大的雲計算建設者競爭,就必須做大。CoreWeave 的估值從上一輪融資到本輪融資的 190 億美元增加了兩倍,你必須自己判斷 CoreWeave 的估值是否合理。還有一個等式:44.6 億美元進賬,190 億美元或更多 IPO 出賬。CoreWeave 創始人發財了,每個人都有不同的方式趕上 Nvidia 浪潮。

在這裏,Lambda 不得不迎頭趕上。去年 12 月,Lambda 獲得了 3.2 億美元的注資,在 2017 年到 2023 年期間,Lambda 在種子前、種子輪、風險輪和債務融資方面共獲得了 9.322 億美元的融資。Lambda 以服務 AI 工作負載的雲起家,轉型成爲 AI 系統製造商,現在更專注於做 GPU 雲。

再說一遍:CoreWeave 和 Lambda 都在說,它們能以比大型雲更低的成本提供 GPU 訪問,但仔細想想,這隻會損害它們的事業。在 GPU 容量稀缺的情況下,他們應該嘗試收取和 AWS 一樣高的價格,直到無法收取爲止,或者是 AWS 的價格減去 SageMaker 和 Bedrock 帶來的所有價值。畢竟,你不會看到 AMD 贈送其 MI300 GPU;它對每單位計算和每單位內存的收費與 Nvidia 對 H100 和 H200 的收費差不多。雲計算公司沒有理由以低於 AWS 的價格出售 GPU 容量,至少現在還沒有。當 GPU 容量過剩時,情況就會不同了--屆時,世界上的高性能計算中心就能一擁而上,以低廉的價格完成大量科學工作。也許吧。

參考鏈接:

點這裏 加關注,鎖定更多原創內容

譯文內容由第三人軟體翻譯。


以上內容僅用作資訊或教育之目的,不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。
    搶先評論