如果您希望可以時常見面，歡迎標星 收藏哦~
來源：內容由半導體行業觀察（ID：icbank）編譯自nextplatform，謝謝。
除了光纖在數據中心網絡中受到的關注之外，銅纜仍然是短距離傳輸的王者。原因很簡單：那些在短距離和長距離數據中心距離上將服務器連接到交換機和交換機相互連接的光纖收發器非常昂貴。而且它們在現場也經常出現故障，導致大規模 HPC 模擬和 AI 訓練運行失敗。
因此，技術和經濟成功的訣竅是隻有在絕對必要時才使用光學器件，並堅持使用銅線和可以在所使用的系統的任何情況下儘可能直接驅動它的設備。
沒有什麼比Nvidia 於 3 月推出的 DGX GB200 NVL72 超級計算機節點更能說明這一原則了，它使用其“Grace”CG100 Arm 服務器 CPU 和一對“Blackwell”GB100 GPU 加速器，並用 5184 條粗大的銅纜捆綁在一起，這些銅纜用於在全對全配置中互連 72 個 Blackwell GPU。NVL72 系統核心的九臺 NVLink Switch 4 交換機中的 200 Gb/秒 SerDes 可以通過銅線直接驅動 1.8 TB/秒的 NVLink 5 端口，而無需重定時器，當然也無需長途數據中心網絡中使用的光收發器。
在發佈會上，Nvidia 聯合創始人兼首席執行官黃仁勳表示，NVL52 系統的功率爲 120 千瓦，但如果 Nvidia 使用光學器件，重定時器和光收發器將使 NVL72 系統的功率預算再增加 20 千瓦。他沒有透露成本，但我們認爲光學器件將顯著增加機架級系統的網絡互連代碼（可能翻倍），同時也會增加節點級故障的可能性。
博通是向數據中心交換市場銷售商用硅片的領軍企業，其基於“Thor”系列 NIC 芯片的網絡接口卡業務規模龐大，因此它非常關注銅線和光纖及其佈線。出於同樣的成本和可靠性原因，Nvidia 也做出了上述 NVL72 計算節點的選擇。
博通軟件產品和生態系統負責人 Hasan Siraj 告訴The Next Platform ：“一個 4,000 個節點的集群將在其互連中擁有 9,200 個光纖設備。”他將帶光纖的 InfiniBand 與不帶光纖的以太網進行了比較和對比。“每個超大規模提供商都會告訴你，每個客戶也會告訴你，它們會發生故障，故障率高達 5%。但即使這樣的集群的故障率爲 2%，每個月也會發生大約 15 次光纖故障。雖然 InfiniBand 可能是一種無損結構，但由於這些光纖設備發生故障，它本質上會變得有損。而且 InfiniBand 在這些故障中還有另一個問題。與以太網相比，由於它是一種靜態結構，它從這些故障中恢復的時間要長 30 倍。InfiniBand 有一個統一結構管理器，但您必須回過頭來找出下一個路線是什麼。而以太網本質上是一種動態結構——您擁有邊界網關協議 (BGP) 和雙向轉發檢測 (BFD) 等功能，並且我們在硅片中做了一些工作，可以在 10 納秒內從這些硬件故障中恢復。所有這些都有助於縮短 AI 作業的完成時間。”
重點是，您要避免返回檢查點並從該點重新加載系統狀態，然後從那裏重新運行 HPC 模擬或 AI 訓練。並且您要儘可能避免在網絡設計中使用過多的光學器件以消除故障，這意味着直接從 NIC 驅動以太網端口並儘可能使用直接連接銅纜 (DAC)。
這就是 Broadcom 的“Thor”系列 NIC 芯片的全部內容，它剛剛進行了更新。
“Thor 1” ASIC 於 2010 年初推出，並於當年秋季開始提供樣品。Thor 1 採用台積電的 16 納米工藝蝕刻而成，用於插入 PCI-Express 4.0 服務器插槽的網絡適配器，其 SerDes 可驅動原生 56 Gb/秒信號，結合 PAM-4 編碼，在消除編碼開銷後，可驅動一對 100 Gb/秒端口。
“Thor 2” NIC 芯片與 NVLink Switch 4 ASIC 一樣，能夠直接從 ASIC 上的 SerDes 驅動銅纜，該芯片於 2022 年推出，2023 年出樣，現已開始出貨。考慮到這些機器的規模（我們聽說過的最大集群中有 20,000 到 60,000 個 GPU），低功耗是 AI 網絡中非常重要的因素，因此 Broadcom 通過將 Thor 2 NIC 芯片縮小到 5 納米 TSMC 工藝，真正突破了功耗極限。（這個尺寸足夠小，可以大大節省功耗，但不是昂貴的 4 納米或 3 納米工藝，這些工藝尚未成熟或便宜。）
以下是 2022 年 Thor ASIC 的對比圖，當時 Thor 1 芯片已投入生產兩年，而博通則暗示了一些有關 Thor 2 系列的信息：
如您所見，Thor 2 芯片 SerDes 具有原生 112 Gb/秒信號，並在頂部進行 PAM4 編碼，在消除編碼開銷後，能夠驅動單個 400 Gb/秒端口、一對 200 Gb/秒端口或四個 100 Gb/秒端口。到目前爲止，所有 Thor 芯片都具有多主機功能，允許將上行鏈路上的帶寬分配到兩個或四個主機上。如您所見，Thor 芯片還保證了較長的技術和經濟壽命，Thor 1 至少可以使用到 2036 年——是的，那是從現在起的十幾年——而 Thor 2 的使用時間將遠遠超過這個數字，但目前尚不確定。
Thor 2 適配器插入 PCI-Express 5.0 插槽。Broadcom 很樂意向超大規模計算公司、雲構建商、HPC 中心和任何其他人出售整張適配器卡，或者只是 ASIC，甚至爲那些想要創建自己的 NIC 的人提供設計中的 IP。
單端口 Thor 2 BCM957608-N1400G 適配器的外觀如下，它支持一個 400 Gb/秒端口。
還有 Thor 2 BCM957608-P2200G 適配器，可驅動兩個 200 Gb/秒端口：
Siraj 表示，有了 Thor 2，Broadcom 將成爲唯一一家支持線性可插拔光學器件的 NIC 提供商，這只是一種花哨的說法，即如果您需要使用光學器件在數據中心中驅動更長的距離，NIC 可以直接驅動光學器件。但根據 Siraj 的說法，Thor 2 還可以直接驅動長達 5 米的銅纜，而大多數 NIC 競爭對手只能驅動 2.5 米長的銅纜。Siraj 說，這大大降低了電力需求——最多比競爭對手少了一半。
Thor 2 芯片還支持 RoCE v2 RDMA，它類似於 InfiniBand 內置的 RDMA，但在以太網上運行。Siraj 表示，藉助 Thor 3 ASIC，博通將採用超級以太網聯盟技術，並將端口速度提高到 800 Gb/秒。Thor 3 預計將於明年推出，與服務器中 PCI-Express 6.0 外設插槽的預期交付大致同步。
點這裏 加關注，鎖定更多原創內容