share_log

华福证券:如何测算文本大模型AI训练端算力需求?

華福證券:如何測算文本大模型AI訓練端算力需求?

智通財經 ·  06/04 19:36

智通財經APP獲悉,華福證券發佈研究報告稱,根據側算力供給需求公式,需求側假設行業依然沿Scaling Law發展方向進一步增長,供給側通過對英偉達GPU的FP16算力、訓練市場、算力利用率等進行假設,推導得出GPU需求量,以英偉達Hopper/Blackwell/下一代GPU卡FP16算力衡量,該行認爲2024-2026年全球文本大模型AI訓練側GPU需求量爲271/592/1244萬張。建議關注算力芯片及服務器產業鏈。

華福證券主要觀點如下:

需求側:Scaling Law驅動大模型算力需求不減

Scaling Law仍然是當下驅動行業發展的重要標準。Scaling Law的基本原理是,模型的最終性能主要與計算量、模型參數量和數據大小三者相關,當不受其他兩個因素制約時,模型性能與每個因素都呈現冪律關係。因此,爲了提升模型性能,模型參數量和數據大小需要同步放大,從大模型數量上看,近年來呈現爆發式增長趨勢,且由於尖端AI模型對於資源投入的大量需求,產業界對於大模型的影響力逐步加深,該行統計了產業界諸多公開披露的大模型訓練數據,從大模型算力需求來看,GPT-3到GPT-4參數上從175B快速提升到1.8TB(提升9倍),訓練數據量(Token數)同方向快速增長,由0.3TB提升至13TB(提升42倍)。絕對值上看,根據該行的非完全統計情況,國內外主流大模型在參數量上基本已來到千億量級,在預訓練數據規模上均已來到個位數乃至十位數的TB量級。

供給側:黃氏定律推動英偉達GPU一路高歌

英偉達GPU持續引領全球AI算力發展,雖然“摩爾定律”逐步放緩,但“黃氏定律”仍在支撐英偉達GPU算力快速提升,一方面,英偉達尋求製程工藝迭代、更大的HBM容量和帶寬、雙die設計等方法,另一方面,數據精度的降低起到關鍵作用,Blackwell首度支持FP4新格式,雖然低精度可能會存在應用上的侷限性,但不失爲一種算力提升策略。若僅考慮英偉達FP16算力,A100/H100/GB200產品的FP16算力分別爲前代產品的2.5/6.3/2.5倍,在數量級上持續爆發,自2017年至今,GB200的FP16算力已達到V100的40倍。與之對比,AI大模型參數的爆發速度相對更快,以GPT爲例,2018年至2023年,GPT系列模型從1億參數規模大幅提升至18000億,相較於AI大模型由Scaling Law驅動的參數爆發,GPU算力增速仍亟待提升,

結論:預計24-26年全球文本大模型訓練卡需求爲271/592/1244萬張

該行根據側算力供給需求公式,需求側假設行業依然沿Scaling Law發展方向進一步增長,供給側通過對英偉達GPU的FP16算力、訓練市場、算力利用率等進行假設,推導得出GPU需求量,以英偉達Hopper/Blackwell/下一代GPU卡FP16算力衡量,該行認爲2024-2026年全球文本大模型AI訓練側GPU需求量爲271/592/1244萬張。

建議關注:

算力芯片:寒武紀(688256.SH)、海光信息(688041.SH)、龍芯中科(688047.SH)。

服務器產業鏈:工業富聯(601138.SH)、滬電股份(002463.SZ)、深南電路(002916.SZ)、勝宏科技(300476.SZ)。

風險提示:AI需求不及預期風險、Scaling Law失效風險、GPU技術升級不及預期的風險、測算模型假設存在偏差風險。

譯文內容由第三人軟體翻譯。


以上內容僅用作資訊或教育之目的,不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。
    搶先評論