虽然英伟达在 AI 训练性能方面仍遥遥领先，但 AI 真正的摇钱树是推理工作负载。简单概括一下两者的区别，训练是使用数据集“教导”AI 模型的过程，而推理是教导后的模型对以前未见过的数据进行预测的过程。英特尔首席执行官 Pat Gelsinger举了一个创建天气模型与使用天气模型的例子：只有少数组织可以预测天气，但每天有数亿人查看天气预报。很容易看出为什么推理基准会吸引人们的注意力。英偉達( NASDAQ:NVDA) 長期以來在 GPU 領域無人能及，尤其在 AI 應用領域的領先地位似乎難以逾越。雖然這種局面可能不會在明天發生改變，但 MLCommons（一個由供應商領導的組織，旨在以公平和可控的方式展示其處理器性能）發佈的最新 AI 基準測試表明，競爭肯定正在加劇。該組織幾周前發佈了MLPerf Inference v4.1 基準測試結果，顯示AMD ( AMD ) 在 AI 推理工作負載方面的表現正在縮小與英偉達的差距。
雖然 AMD 從破產邊緣強勢回歸，並在數據中心 CPU 業務上超越英特爾公司，但儘管 AMD 進軍 GPU 加速器市場，英偉達仍然能夠保持其在 GPU 領域的領先地位。這其中的原因有很多，但最主要的原因還是英偉達處理器的絕對性能優勢。當英特爾努力擴展其 10 納米 (Intel 7) 節點時，台積電一路領先，讓 AMD 能夠在更優越的節點上設計處理器，搶走英特爾的飯碗。英偉達一直以來基本上都是無晶圓廠的，因此它避免了這樣的陷阱，並能夠專注於其工程師擅長的領域，設計尖端處理器。
而且他們在這方面確實很擅長。無論是在遊戲還是數據中心，AMD 在性能和功耗方面一直落後英偉達幾代。然而，隨着 AMD 憑藉其 EPYC 系列 CPU 在數據中心服務器市場取得成功，它得以將其重新投資於 GPU 研發計劃，並開始取得成果。
雖然英偉達在 AI 訓練性能方面仍遙遙領先，但 AI 真正的搖錢樹是推理工作負載。簡單概括一下兩者的區別，訓練是使用數據集「教導」AI 模型的過程，而推理是教導後的模型對以前未見過的數據進行預測的過程。英特爾首席執行官 Pat Gelsinger舉了一個創建天氣模型與使用天氣模型的例子：只有少數組織可以預測天氣，但每天有數億人查看天氣預報。很容易看出爲什麼推理基準會吸引人們的注意力。
MLPerf Inference v4.1 包含了衆多芯片製造商的最新性能結果，但讓我們重點關注 AMD 和 Nvidia。在我看來，最重要的一點是英偉達的領先優勢正在縮小。AMD 首次在推理工作負載中表現出與英偉達當前一代處理器相當的性能：
無論是在服務器還是離線推理工作負載中，AMD 的 MI300X 每秒令牌數與英偉達的 H100 80 GB GPU 基本持平（服務器模式更接近真實世界的交互方式）。不知道這些 GPU 的零售價到底是多少，但AMD 對其加速服務器產品的定價很激進，而淨利潤率超過 50% 的英偉達則不然。這是 AMD 在 CPU 市場上削弱英特爾所採用的相同策略，由於上面看到的性價比相當，該策略可能會將一些客戶從英偉達手中搶走。
此外，MI300X 實際上有 192 GB 的 HBM3 內存，這比 H100 的 80 GB 和 H200 的 141 GB 要大得多。這些評估中使用的型號 Llama 2 70B 相當輕量，因此這些基準測試可能低估了 AMD 處理器的性能。
基準測試中還包括了英偉達對這場較量的看法：
從這兩張圖片可以看出，AMD 想要強調與 H100 的對等性，而英偉達則想要強調與 H200 的對等性。兩者的觀點都有道理。AMD 希望提醒大家注意這樣一個事實：它在提供可行的替代方案以取代英偉達的主導地位方面已經取得了長足進步，而英偉達則表明性能差距仍然很大。
英偉達的管理層顯然更有能力，但錯誤和失誤總是會發生。例如，雖然最終延遲的時間很短，但英偉達的下一代 Blackwell 系列 GPU 的發佈卻因爲影響產量的小設計缺陷而被推遲。隨着處理器變得越來越複雜，設計缺陷出現的可能性也越來越大，看似巨大的技術領先優勢可能會化爲泡影。
至於 Blackwell，英偉達僅提交了 B200（功能更強大的 Blackwell 芯片）的基準測試，該芯片在 Llama2-70B 型號的服務器模式下表現出色，每秒 10,755 個令牌（雖然尚不清楚這其中有多少是由於硬件改進或對 FP4 的支持）。這比 H100 和 MI300X 提高了近 4 倍，比 H200 提高了 2.5 倍。
雖然這一切聽起來令人印象深刻，但我們不應該忽視，B200 的零售價肯定會是 MI300X 的兩倍以上，而且其功率要求會高得多。B100 的價格將介於兩者之間。儘管如此，即使價格大幅上漲，價值主張肯定會轉向英偉達有利的方向。而且由於這個週期永無止境，AMD 也計劃在第四季度發佈一款新產品：MI325X。
AMD 計劃在其年度 Advancing AI活動上提供有關這款芯片發佈的更多細節，屆時它將概述性能、效率和內存大幅提升方面的改進。具體來說，MI325X 將配備 288 GB 的 HBM3E 內存（比 HBM3 更密集），這也明顯高於 B100 和 B200 的 192 GB HBM3E，爲 AMD 在大型 AI 模型的推理工作負載方面提供了可能的價值優勢。
儘管如此，重要的是要記住硬件只是等式的一邊：英偉達真正的護城河在於其 CUDA 軟件層，這是實際使用這些模型創建應用程序的開發人員的黃金標準。AMD 已將 ROCm 打造爲一種可用的替代方案，但與 CUDA 相比，它的採用率仍然很低，而且在這種情況發生改變之前，英偉達當前的客戶群將保持粘性，不願意切換生態系統。
從純計算角度來看，AMD 似乎正在縮小與英偉達在 AI 推理工作負載方面的差距。後者仍具有許多優勢，AMD 必須逐步彌補，但 AMD 看漲者應該對所取得的進展感到興奮。
未來幾年，整個人工智能市場將繼續維持 AMD 和 NVDA 的高估值。隨着雲提供商和其他大型科技公司爲剛剛開始的人工智能革命而擴大規模，GPU 加速器市場可能會保持強勁。儘管 AMD 取得了進展，但英偉達擁有專業知識、利潤率和市場定位，能夠繼續取得成功。
在這一波 Blackwell 處理器的推動下，隨着新的高利潤處理器進入產品組合，該公司本已瘋狂的利潤率可能會進一步提升，在人工智能應用領域繼續保持領先地位，而且軟件護城河似乎堅不可摧，因此英偉達值得買入。我建議看漲者密切關注這些基準，看看該公司是保持、失去還是擴大了對 AMD 和其他競爭對手的領先優勢。
不過， AMD 的風險回報狀況比英偉達更具吸引力。GPU 加速器市場將在很長一段時間內利潤豐厚，而 AMD 的市場份額仍然很小，因此隨着該公司改進其產品並繼續縮小與英偉達的差距，其潛在的上升空間似乎是不可避免的。現在，這可能需要數年甚至更長時間才能實現，因此任何希望購買 AMD 股票以從該公司用 MI325X 或 MI350X 蠶食英偉達的市場份額中獲益的人可能都想先手。但從長遠來看，AMD是一家涉足所有正確領域並且其競爭地位正在朝着正確方向發展的公司。這些因素使 AMD 成爲強力買入股票。