“要是将它（Pro模型）与GPT-4 O进行比较，在20个基准测试中的17个上相等或更优，和Gemini对比，在21个基准测试中的16个上相等或更优。”贾西介绍。他也强调了四款模型的成本效益很高，相较于Amazon Bedrock中的其他领先模型，Nova能便宜大约75%。
安迪·賈西發佈Amazon Nova系列模型
亞馬遜雲科技深夜拋出「王炸」，不僅一口氣推出6款大模型，Amazon用於深度學習和生成式AI場景，基於自研芯片的最強EC2實例也來了。
大模型方面，Amazon Nova系列基礎模型包括Micro、Lite、Pro、Premier四款。其中，Micro爲純文本模型，128k上下文窗口；Lite和Pro爲多模態模型，300k上下文窗口；Premier也爲多模態模型，可用於執行復雜的推理任務。亞馬遜CEO安迪·賈西（Andy Jassy）在介紹時透露，Micro、Lite和Pro模型已全面開放可用，Premier模型會將於2025年第一季度推出。
「要是將它（Pro模型）與GPT-4 O進行比較，在20個基準測試中的17個上相等或更優，和Gemini對比，在21個基準測試中的16個上相等或更優。」賈西介紹。他也強調了四款模型的成本效益很高，相較於Amazon Bedrock中的其他領先模型，Nova能便宜大約75%。
四款基礎模型不僅集成在Amazon Bedrock中，還與Amazon Bedrock裏的所有功能進行了深度整合，任何模型提供商都可以使用並供開發者進行微調。Nova模型還與蒸餾功能整合，可將大模型的智能「轉移」到更小的模型中，這些小模型成本效益更高，延遲更低。
另外，賈西也宣佈推出了圖像生成模型Amazon Nova Canvas及視頻生成模型Amazon Nova Real。其中，Amazon Nova Real即將推出可以製作6秒視頻的功能，未來幾個月內，還會推出能夠製作最長2分鐘視頻的功能。
值得一提的是，亞馬遜雲科技CEO馬特·加爾曼（Matt Garman）也在現場宣佈，Amazon Bedrock multi-agent collaboration多智能體協作功能同步推出，這意味着Amazon Bedrock智能體能夠處理複雜的工作流程。「多個智能體返回了信息，它還能進行協調處理，確保所有這些智能體之間能夠有效協作。」馬特表示。
馬特·加爾曼宣佈推出基於Trn2的EC2實例
繼AI大模型公司Anthropic宣佈下一代Claude模型將在Amazon Project Rainier上進行訓練，併產生擁有數十萬個Amazon Tranium2 芯片的亞馬遜集群之後，馬特當地時間12月3日上午便宣佈推出由Amazon Trainium2提供支持的Amazon Elastic Compute Cloud （Amazon EC2）實例，新的Trn2 UltraServer、下一代 Trainium3 芯片也同步推出。
「今天，我很高興地宣佈Amazon EC2 Trn2實例正式可用，這些實例由Trainium2芯片提供支持。Amazon EC2 Trn2實例是我們爲生成式AI設計的最強大的實例，這都得益於這些完全由亞馬遜雲科技內部定製構建的處理器。」馬特在現場表示。
據鈦媒體App了解，基於Amazon Trainium2的Amazon EC2實例，能夠訓練和部署當今最新的AI模型以及未來的大型語言模型（LLM）和基礎模型（FM）。與當前一代基於 GPU 的 EC2 P5e 和 P5en 實例相比，Trn2 實例的性價比提高了 30-40%，並具有 16 個 Trainium2 芯片，可提供 20.8 petaflops 的峯值計算能力，非常適合訓練和部署具有數十億個參數的 LLM。
Amazon Trainium2芯片
Amazon EC2 Trn2實例服務器托架
對於需要更多計算的最大模型，Trn2 UltraServer 允許客戶將訓練擴展到單個 Trn2 實例的限制之外，從而減少訓練時間，加快上市時間，並支持快速迭代以提高模型準確性。Trn2 UltraServer 是一種全新的 EC2 產品，它使用超快的 NeuronLink 互連將四臺 Trn2 服務器連接在一起形成一臺巨型服務器，可擴展至 83.2 petaflops 的峯值計算能力，將單個實例的計算、內存和聯網能力提高四倍，從而能夠訓練和部署世界上最大的模型。
藉助新的 Trn2 UltraServer，客戶可以跨 64 個 Trainium2 芯片擴展其生成式 AI 工作負載。對於推理工作負載，客戶可以使用 Trn2 UltraServer 來提高生產中萬億參數模型的實時推理性能。
「Trainium2 專爲支持最大、最前沿的生成式 AI 工作負載而構建，用於訓練和推理，並在 AWS 上提供最佳性價比，」亞馬遜雲科技計算和網絡副總裁 David Brown 說。“隨着模型接近數萬億個參數，我們了解客戶還需要一種新穎的方法來訓練和運行這些龐大的工作負載。新的 Trn2 UltraServer 在 AWS 上提供最快的訓練和推理性能，並幫助各種規模的組織以更快的速度和更低的成本訓練和部署世界上最大的模型。
以AI大模型公司Anthropic 爲例，Claude系列大模型讓Anthropic 在全球備受關注。AI大模型公司Anthropic聯合創始人兼首席計算官Tom Brown當地時間12月2日宣佈，公司旗下下一代的Claude模型將在Project Rainier上進行訓練，他表示這將是一個新的亞馬遜集群，擁有數十萬個Amazon Tranium2 芯片。優化完成後，該集群預計將成爲迄今爲止世界上最大的 AI 計算集群，可供 Anthropic 構建和部署其未來模型。
「數十萬個芯片意味着數百個密集的億次浮點運算，比我們曾經使用過的任何集群都多五倍以上。這意味着客戶將可以更低的價格、更快的速度獲得更多的智能。有了 Amazon Tranium2 和 Project Rainier，我們不僅僅是在構建更快的人工智能，還在構建可擴展的、值得信賴的人工智能。」Tom Brown表示。此前一週亞馬遜宣佈追加對Anthropic的第二筆40億美元的投資（目前共計亞馬遜投資80億美元），進一步深化兩家公司在人工智能領域的合作，加快Anthropic的發展。
同日，亞馬遜雲科技 也推出了專爲滿足生成式 AI 工作負載而設計的下一代AI訓練芯片Trainium3 芯片，Trainium3 將成爲第一款採用 3 納米工藝節點製造的 Amazon 芯片，爲性能、能效和密度設定了新標準。由 Trainium3 提供支持的 UltraServer 的性能預計將比 Trn2 UltraServer 高 4 倍，使客戶能夠在構建模型時更快地迭代，並在部署模型時提供卓越的實時性能。第一批基於 Trainium3 的實例預計將於 2025 年底推出。（本文首發於鈦媒體APP，作者 | 秦聰慧）