來源:華爾街見聞
作者:卜淑情
理論上H100比H20的速度快6倍以上,但在LLM推理方面,H20比H100快了超過20%。
據媒體最新報道,$英偉達 (NVDA.US)$即將推出至少三款新的AI芯片,包括 H20 SXM、PCIe L20 和 PCIe L2,以替代被美國限制出口的H100。這三款芯片均基於Hopper GPU 架構,最高理論性能可達296TFLOP(每秒浮點運算次數,也叫每秒峯值速度)。
幾乎可以肯定的是,這三款AI芯片均是H100的“閹割版”或“縮水版”。
![](https://postimg.futunn.com/1699599362395981109546.jpeg)
理論上H100比H20的速度快了6.68倍。據分析師Dylan Petal最新發布的一篇博文,即使H20的實際利用率能達到90%,其在實際多卡互聯環境中的性能仍只能接近H100的50%。
也有媒體稱,H20的綜合算力僅相當於H100的20%,且由於增加了HBM顯存和NVLink互聯模塊,算力成本顯著提高。
不過,H20 的優點也很明顯,在大語言模型(LLM)推理方面比H100快了20%以上。理由是H20在某些方面與明年要發佈的下一代超級AI芯片H200相似。
英偉達已經做出這三款芯片的樣品,H20 和 L20預計將於今年 12 月推出,而 L2將於明年 1 月推出。產品採樣將於發佈前一個月開始。
H20 Vs. H100
先來看H100,擁有80GB HBM3內存,內存帶寬爲3.4Tb/s,理論性能爲1979 TFLOP,性能密度(TFLOPs/Die size )高達19.4,是英偉達當前產品線中最強大的GPU。
H20,擁有96GB HBM3內存,內存帶寬高達4.0 Tb/s,均高於H100,但計算能力僅爲296 TFLOP,性能密度爲2.9,遠不如H100。
![](https://postimg.futunn.com/1699599361769439303609.jpeg)
理論上H100 相比H20 的速度快了6.68倍。但值得注意的是,這個比較是基於FP16 Tensor Core的浮點計算能力(FP16 Tensor Core FLOPs),且啓用了稀疏計算(大大減少運算量,因此速度會有顯著提升),因此並不能全面反映其所有的計算能力。
另外,該GPU的熱設計功耗爲400W,低於H100的700W,並且在HGX解決方案(英偉達的GPU服務器方案)中可以進行8路GPU的配置,它還保留了900 GB/s的NVLink高速互聯功能,同時還提供了7路MIG(Multi-Instance GPU,多實例GPU)的功能。
H100 SXM TF16(Sparsity)FLOPS = 1979
H20 SXM TF16(Sparsity)FLOPS = 296
根據Peta的LLM性能對比模型表明,H20在moderate batch size下峯值token/秒,比H100高出20%,在low batch size下的token to token延遲比H100還要低25%。這是由於將推理所需的芯片數量從2個減少到1個,如果再使用8位量化,LLAMA 70B模型可以在單個H20上有效運行,而不是需要2個H100。
值得一提的是,H20的計算能力雖然只有296個TFLOP,遠不及H100的1979個,但如果H20的實際利用率MFU(目前H100的MFU僅爲38.1%),這意味着H20實際能跑出270 TFLOPS,那麼H20在實際多卡互聯環境中的性能接近H100的50%。
從傳統計算的角度來看,H20相比H100有所降級,但在LLM推理這一方面,H20實際上會比H100快了20%以上,理由是H20在某些方面與明年要發佈的H200相似。注意,H200是H100的後繼產品,複雜AI和HPC工作負載的超級芯片。
L20和L2配置更加精簡
與此同時,L20配備48 GB 內存和計算性能爲239個TFLOP,而 L2 配置爲 24 GB 內存和計算性能193個TFLOP。
L20基於L40,L2基於L4,但這兩款芯片在LLM推理和訓練中並不常用。
L20和L2均採用 PCIe 外形規格,採用了適合工作站和服務器的PCIe規格,相比Hopper H800和A800這些規格更高的型號,配置也更加精簡。
但是英偉達用於AI和高性能計算的軟件堆棧對某些客戶來說非常有價值,以至於他們不願放棄Hopper架構,即使規格降級也在所不惜。
L40 TF16 (Sparsity) FLOPs = 362
L20 TF16 (Sparsity) FLOPs = 239
L4 TF16 (Sparsity) FLOPs = 242
L2 TF16 (Sparsity) FLOPs = 193
編輯/tolk