來源：華爾街見聞
作者：卜淑情
理論上H100比H20的速度快6倍以上，但在LLM推理方面，H20比H100快了超過20%。
據媒體最新報道，$英偉達 (NVDA.US)$即將推出至少三款新的AI芯片，包括 H20 SXM、PCIe L20 和 PCIe L2，以替代被美國限制出口的H100。這三款芯片均基於Hopper GPU 架構，最高理論性能可達296TFLOP（每秒浮點運算次數，也叫每秒峯值速度）。
幾乎可以肯定的是，這三款AI芯片均是H100的“閹割版”或“縮水版”。
理論上H100比H20的速度快了6.68倍。據分析師Dylan Petal最新發布的一篇博文，即使H20的實際利用率能達到90%，其在實際多卡互聯環境中的性能仍只能接近H100的50%。
也有媒體稱，H20的綜合算力僅相當於H100的20%，且由於增加了HBM顯存和NVLink互聯模塊，算力成本顯著提高。
不過，H20 的優點也很明顯，在大語言模型（LLM）推理方面比H100快了20%以上。理由是H20在某些方面與明年要發佈的下一代超級AI芯片H200相似。
英偉達已經做出這三款芯片的樣品，H20 和 L20預計將於今年 12 月推出，而 L2將於明年 1 月推出。產品採樣將於發佈前一個月開始。
H20 Vs. H100
先來看H100，擁有80GB HBM3內存，內存帶寬爲3.4Tb/s，理論性能爲1979 TFLOP，性能密度（TFLOPs/Die size ）高達19.4，是英偉達當前產品線中最強大的GPU。
H20，擁有96GB HBM3內存，內存帶寬高達4.0 Tb/s，均高於H100，但計算能力僅爲296 TFLOP，性能密度爲2.9，遠不如H100。
理論上H100 相比H20 的速度快了6.68倍。但值得注意的是，這個比較是基於FP16 Tensor Core的浮點計算能力(FP16 Tensor Core FLOPs)，且啓用了稀疏計算（大大減少運算量，因此速度會有顯著提升），因此並不能全面反映其所有的計算能力。
另外，該GPU的熱設計功耗爲400W，低於H100的700W，並且在HGX解決方案(英偉達的GPU服務器方案)中可以進行8路GPU的配置，它還保留了900 GB/s的NVLink高速互聯功能，同時還提供了7路MIG(Multi-Instance GPU，多實例GPU)的功能。
H100 SXM TF16（Sparsity）FLOPS = 1979
H20 SXM TF16（Sparsity）FLOPS = 296
根據Peta的LLM性能對比模型表明，H20在moderate batch size下峯值token/秒，比H100高出20%，在low batch size下的token to token延遲比H100還要低25%。這是由於將推理所需的芯片數量從2個減少到1個，如果再使用8位量化，LLAMA 70B模型可以在單個H20上有效運行，而不是需要2個H100。
值得一提的是，H20的計算能力雖然只有296個TFLOP，遠不及H100的1979個，但如果H20的實際利用率MFU（目前H100的MFU僅爲38.1%），這意味着H20實際能跑出270 TFLOPS，那麼H20在實際多卡互聯環境中的性能接近H100的50%。
從傳統計算的角度來看，H20相比H100有所降級，但在LLM推理這一方面，H20實際上會比H100快了20%以上，理由是H20在某些方面與明年要發佈的H200相似。注意，H200是H100的後繼產品，複雜AI和HPC工作負載的超級芯片。
L20和L2配置更加精簡
與此同時，L20配備48 GB 內存和計算性能爲239個TFLOP，而 L2 配置爲 24 GB 內存和計算性能193個TFLOP。
L20基於L40，L2基於L4，但這兩款芯片在LLM推理和訓練中並不常用。
L20和L2均採用 PCIe 外形規格，採用了適合工作站和服務器的PCIe規格，相比Hopper H800和A800這些規格更高的型號，配置也更加精簡。
但是英偉達用於AI和高性能計算的軟件堆棧對某些客戶來說非常有價值，以至於他們不願放棄Hopper架構，即使規格降級也在所不惜。
L40 TF16 (Sparsity) FLOPs = 362
L20 TF16 (Sparsity) FLOPs = 239
L4 TF16 (Sparsity) FLOPs = 242
L2 TF16 (Sparsity) FLOPs = 193
編輯/tolk