來源：環球網
【環球網報道 記者 李文瑤】剛剛加入亞馬遜董事會的吳恩達在社交媒體上點讚了Meta 最新發布的大語言模型 Llama 3，並稱這是其收到的最好的生日禮物。
據了解，隨着 Llama 3的發佈，相關的應用和合作正在快速展開。亞馬遜雲科技方面已經宣佈，Meta剛剛發佈的兩款Llama 3基礎模型Llama 3 8B和Llama 3 70B已在Amazon SageMaker JumpStart中提供使用，客戶可通過平台立即部署並使用Llama 3模型。
Llama 3的發佈爲何如此受到關注？
據了解，Meta Llama 3 是開放獲取的Llama系列的最新版本。目前，Llama 3提供兩個版本：8B版本適合在消費級GPU上高效部署和開發；70B 版本則專爲大規模AI應用設計。每個版本都包括基礎和指令調優兩種形式。
與 Llama 2 相比，Llama 3最大的變化是採用了新的 Tokenizer，將詞彙表大小擴展至128,256（前版本爲 32,000 Token）。這一更大的詞彙庫能夠更高效地編碼文本（無論輸入還是輸出），並有可能提升模型的多語種處理能力。
不過，這也導致嵌入層的輸入和輸出矩陣尺寸增大，這是小型模型參數增加（從 Llama 2 的 7B 增至 Llama 3 的 8B）的主要原因之一。此外，8B版本的模型現在採用了分組查詢注意力（GQA），這是一種效率更高的表達方式，有助於處理更長的上下文。
Llama 3 模型在兩個擁有 24,000 GPU的集群上進行了訓練，使用的是超過 15 萬億 Token的新公共在線數據。雖然，Meta沒有公佈訓練數據具體細節，但可以推測，更大規模且更細緻的數據策劃是性能提升的重要因素。同時，Llama 3 Instruct 針對對話應用進行了優化，結合了超過1000萬的人工標註數據，通過監督式微調（SFT）、拒絕採樣、鄰近策略優化（PPO）和直接策略優化（DPO）進行訓練。
根據目前的測試情況，Llama 3 70B表現優異，在AI基準測試中超越了谷歌Gemini Pro1.5和Anthropic的Claude 3 Sonnet等模型。
值得關注的是，Meta Llama 3是開源模型，這意味着它允許用戶免費獲取和修改模型源代碼，鼓勵社群共同參與改進和發展。這一開放特性有助於激發開源社區活力，形成良性循環，同時也順應了當前生成式AI領域愈發重視開源共享的趨勢。
亞馬遜雲科技首席執行官Adam Selipsky曾在re:Invent2023大會上指出，面對快速發展的AI領域，適應能力和多元化的模型選擇至關重要。因此，亞馬遜雲科技致力於通過JumpStart這樣的服務平台，提供豐富的模型選項，簡化模型遷移過程，讓客戶能夠如同API調用般輕易在不同模型間切換，推動AI技術的普惠化進程。
Amazon SageMaker JumpStart是亞馬遜雲科技專門構建的一個機器學習中心，提供預訓練的模型、內置算法和預構建的解決方案，幫助客戶快速開始機器學習項目。
Meta Llama 3作爲開源大模型的代表之一，加入亞馬遜雲科技的“大模型豪華套餐”，意味着亞馬遜雲科技的機器學習模型庫得到了重要擴充，滿足了不同客戶群體對於先進AI模型的需求，進一步豐富了其雲計算服務產品線。
企業通過Amazon SageMaker JumpStart部署Llama 3，可降低部署所需的時間，提供靈活的部署路徑，支持來加速開發並提供安全的隔離環境。
行業認爲，Meta Llama 3憑藉其優秀的性能表現和開源特性，能夠吸引衆多尋求高性能、低成本AI解決方案的開發者和企業客戶，從而促進亞馬遜雲科技用戶基數的增長和市場份額的擴大。
此外，亞馬遜雲科技支持Meta Llama 3這類開源大模型，促進開源AI生態的發展，並向外界傳達了一個信號，即亞馬遜雲科技不僅提供自家研發的AI模型，也積極推動和支持開源社區的發展。
今年4月，亞馬遜“招攬”人工智能專家吳恩達加入亞馬遜董事會，亞馬遜首席執行官安迪·賈西 (Andy Jassy) 表示，生成式AI可能會成爲亞馬遜業務的下一個重要支柱，其重要性與營銷、Prime會員業務、雲計算相當。
安迪·賈西在最近發佈的股東信中表示：“我們在亞馬遜雲科技中構建的不僅僅是一個引人注目的應用程序或基礎模型。這些服務在堆棧的所有三個層次上構成了一套基礎服務，從而實現下一個劃時代的人工智能階段普惠化，並將爲內外部構建者賦能，以轉變我們所知道的幾乎每一個客戶體驗，或是創造全新的客戶體驗。我們樂觀地認爲，這種改變世界的人工智能大部分將建立在亞馬遜雲科技上。”
而Meta Llama 3在亞馬遜雲科技的落地，有望爲用戶提供了一個更加方便快捷的平台，使得先進技術能夠在更大範圍內得以應用和推廣。