來源：華爾街見聞
作者：趙穎
人工智能浪潮席捲全球，AI服務器需求井噴，同時也帶火了擁有超高帶寬的HBM芯片。
週二，英偉達官網官宣史上最強的AI芯片H200，其基於Hopper架構，配備英偉達H200 Tensor Core GPU，可以爲生成式AI和高性能計算工作負載處理海量數據。
其中值得一提的是，H200是全球首款配備HBM3e內存的GPU，擁有高達141GB的顯存。據SK海力士介紹，HBM3e芯片擁有更快的速度，容量也更大，在速度、發熱控制和客戶使用便利性等所有方面都達到了全球最高水平。
一直以來，由於高成本等制約因素，企業往往選擇提高處理器的計算能力性能，而忽略了內存帶寬性能。隨着AI服務器對高性能內存帶寬提出更高要求，HBM（高帶寬內存）成了“香餑餑”。
H200最大升級：HBM3e
相比於前一代H100，H200在哪些方面進行了升級？
H100相比，H200 的性能提升主要體現在推理性能表現上。在處理 Llama 2 等大語言模型時，H200 的推理速度比 H100 提高了接近 2 倍。
相同的功率範圍之內實現 2 倍的性能提升，意味着實際能耗和總體成本降低了50%。
得益於 Tansformer 引擎、浮點運算精度的下降以及更快的 HBM3內存 ，H100 在 GPT-3 175B 模型的推理性能方面已經較 A100 提升至 11 倍。而憑藉更大、更快的 HBM3e 內存，無需任何硬件或代碼變更的 H200 則直接把性能提高至 18 倍。
從 H100 到 H200，性能提高了 1.64 倍，這一切都歸功於內存容量和帶寬的增長。
H100 具有 80 GB 和 96 GB 的 HBM3 內存，在初始設備中分別提供 3.35 TB/秒和 3.9 TB/秒的帶寬，而 H200 具有 141 GB 更快的 HBM3e 內存，帶寬爲 4.8總帶寬 TB/秒。
其他方面，據媒體分析，H200 迄今爲止僅適用於 SXM5 插槽，並且在矢量和矩陣數學方面具有與 Hopper H100 加速器完全相同的峯值性能統計數據。
什麼是HBM？
出於一系列技術和經濟因素的考量，存儲性能的提升速度往往跟不上處理器，過去20年硬件的峯值計算能力增加了90000倍，但是內存/硬件互連帶寬卻只是提高了30倍。
而當存儲的性能跟不上處理器，讀寫指令和數據的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。想象一下，數據傳輸就像處在一個巨大的漏斗之中，不管處理器灌進去多少，存儲器都只能“細水長流”。
爲了減少能耗和延遲，將很多個普通DDR芯片堆疊在一起後和GPU封裝在一起，就得到了所謂的HBM（高帶寬內存）。HBM通過增加帶寬，擴展內存容量，讓更大的模型，更多的參數留在離核心計算更近的地方，從而減少內存和存儲解決方案帶來的延遲。
不過，這也意味着更高的成本，在沒有考慮封測成本的情況下，HBM的成本是GDDR的三倍左右。HBM發展制約因素正是高成本，一些高級計算引擎上的HBM內存成本往往比芯片本身還要高，因此添加更多內存自然面臨很大的阻力。
媒體進一步分析指出，如果添加內存就能讓性能翻倍，那同樣的 HPC 或 AI 應用性能將只需要一半的設備即可達成，這樣的主意顯然沒法在董事會那邊得到支持。這種主動壓縮利潤的思路，恐怕只能在市場供過於求，三、四家廠商爭奪客戶預算的時候才會發生。
接下來到了拼內存突破的階段？
然而，隨着AI的爆火，對帶寬的要求更高，HBM需求激增。市場規模上，有分析預計預計2023年全球HBM需求量將增近六成，達到2.9億GB，2024年將再增長30%，2025年HBM整體市場有望達到20億美元以上。SK海力士已表示，2024年的HBM3訂單已經排滿，而同樣的情況現在也出現在三星身上。
同時分析指出，無論英偉達接下來的 Blackwell B100 GPU 加速器具體表現如何，都基本可以斷定會帶來更強大的推理性能，而且這種性能提升很可能來自內存方面的突破、而非計算層面的升級。因此，從現在到明年夏季之間砸錢購買英偉達 Hopper G200沒有什麼性價比可言，但快速發展也是數據中心硬件技術的常態。
此外，英偉達的競爭對手——AMD也將在12月6日推出面向數據中心的“Antares”GPU加速器家族，包括帶有192 GB HBM3內存的Instinct MI300X和帶有128 GB HBM3內存的CPU-GPU混合MI300A。
編輯/jayden