來源：硬AI
Llama 3最大參數規模超4000億，訓練token超15萬億，對比GPT-3.5多種人類評估測評勝率超六成；亞馬遜、微軟、谷歌雲將推出Llama 3，英偉達、英特爾、AMD硬件平台將支持Llama 3。英偉達稱，Meta用搭載超2.4萬塊H100芯片的計算機集群訓練Llama 3。Meta AI助手將在美國以外十三國推出英語版，手機和電腦均可用，用它查詢無需切換App，文生圖功能Image可根據提示詞實時更新圖片、可生成GIF動圖。
OpenAI的GPT迎來強勁對手，$Meta Platforms (META.US)$正在發起最新一輪挑戰。
美東時間4月18日週四，Meta宣佈，推出旗下第三代大語言模型（LLM）Llama 3，稱它爲“迄今爲止能力最強的開源LLM”，並且基於Llama 3，升級了人工智能（AI）助手Meta AI，稱它“現在是你可以免費使用的最智能AI助手”。
Meta公佈，Llama 3將在亞馬遜、微軟、谷歌雲等雲平台得到啓用，並得到英偉達等芯片巨頭和戴爾的硬件支持。英偉達透露，Meta在合計搭載超過2.4萬塊H100芯片的計算機集群上訓練Llama 3，英偉達產品和服務加持的Llama 3用於雲、邊緣計算、機器人、PC等領域。
Llama 3最大參數規模超4000億 訓練token超15萬億
去年7月Meta發佈的Llama 2有三個版本，最大版本70B的參數規模爲700億。本週四Meta介紹，Llama 3有8B和70B兩個版本。Meta CEO扎克伯格稱，大版本的Llama 3將有超過4000億參數。Meta並未透露會不會將4000億參數規模的Llama 3開源，目前它還接受訓練。
對比前代，Llama 3有了質的飛躍。Llama 2使用2萬億個 token進行訓練，而訓練Llama 3大版本的token超過15 萬億。
Meta稱，由於預訓練和訓練後的改進，其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。在訓練後程序得到改進後，模型的錯誤拒絕率（FRR）大幅下降，一致性提高，模型響應的多樣性增加。 在推理、代碼生成和指令跟蹤等功能方面，Llama 3相比Llama 2有極大改進，使Llama 3更易於操控。
下圖可見，8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解數據集（MMLU）、研究生水平專家推理（GPQA）、數學評測集（GSM8K）、編程多語言測試（HumanEval）等方面的測評得分都高於Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。
8B和70B版本的預訓練Llama 3多種性能測評優於Mistral、Gemma、Gemini和Mixtral。
Meta稱，開發了一套新的高質量人類評估集，包括涵蓋12 個關鍵用例的1800個提示詞，這些用例分別是尋求建議、頭腦風暴、分類、閉卷問答、開卷問答、編碼、創意寫作、提取、塑造角色/人物形象、推理、改寫和總結。下圖可見，在人類評估集測評中，70B版本指令調優Llama 3優於Claude Sonnet、Mistral Medium、GPT-3.5和Llama 2的勝率分別爲52.9%、59.3%、63.2%、63.7%。
爲了未來適用於多語言用例，超過5%的 Llama 3 預訓練數據集屬於涵蓋30 多種語言的高質量非英語數據。但Meta預計，對非英語語種的性能不會和英語的一致。
Meta預計。未來幾個月，將推出Llama 3 的新功能，上下文窗口會更長，性能會更強，還會有該模型新的尺寸版本，Meta還將分享 Llama 3的研究論文。
亞馬遜等雲平台將推出Llama 3 超2.4萬英偉達H100芯片訓練Llama 3
Meta介紹，Llama 3 模型很快將在亞馬遜雲AWS、Databricks、谷歌雲、Hugging Face、Kaggle、IBM的雲平台WatsonX、微軟雲Azure、英偉達的NIM和 Snowflake 上推出，得到 AMD、AWS、戴爾、英特爾、英偉達提供的硬件平台支持。
英偉達同日披露，Meta的工程師在包含2.4576萬塊英偉達H100 Tensor Core GPU、連接英偉達Quantum-2 InfiniBand網絡的計算機集群上訓練 Llama 3。 在英偉達的支持下，Meta 爲其LLM調整了網絡、軟件和模型架構。而且，爲了進一步推進生成式AI的先進水平，Meta最近公佈了計劃，要在其基礎設施用應用35萬塊H100 芯片。
英偉達稱，由英偉達芯片助力的Llama 3現已推出，可用於雲、數據中心、邊緣計算和個人電腦（PC）。開發人員可以通過英偉達的網站ai.nvidia.com試用Llama 3，企業用戶可以通過英偉達的端到端雲原生框架NeMo，利用自身數據對 Llama 3進行調優。
Llama 3 還可在英偉達用於機器人開發的模組Jetson Orin 上運行，用於機器人和邊緣計算設備，創建像Jetson AI 實驗室中的交互式代理。此外，適用於工作站和 PC 的 NVIDIA RTX 和 GeForce RTX GPU可加快 Llama 3的推理速度。
美國以外十三國推出英語版Meta AI 手機和電腦均可用 文生圖功能Image可實時更新圖、生成GIF
Meta介紹，用戶可以在旗下社交媒體Facebook、Instagram、WhatsApp 和 Messenger上使用 Meta AI完成工作、學習、創作和連接自己看重的事物。
Meta稱，將在美國以外的十三個國家推出英語版 Meta AI，包括加拿大、澳大利亞、新西蘭、新加坡、南非、尼日利亞、巴基斯坦、加納、牙買加、馬拉維、烏干達、贊比亞和津巴布韋。
Meta AI能做什麼？Meta舉了一些例子，比如策劃和朋友晚上怎麼玩，推薦一家可欣賞日落美景並提供素食選擇的餐廳，查找週末晚上哪裏有音樂會，提供野餐地點的建議，解釋遺傳特徵如何發揮作用這種課業問題。
Meta還提到一個新功能——名叫Image的AI圖像生成功能，用戶可以根據WhatsApp 和 Meta AI 網站中的文本生成圖像。用這種功能，Meta AI 可以根據用戶想要的審美要求“想象”生成圖片，給用戶的實際購物提供靈感。
扎克伯格表示，Image服務將在用戶輸入更詳細的提示詞時實時更新圖像，並可以創建自定義動畫GIF。
Meta稱，當用戶開始打字輸入提示詞時，會看到一個圖像出現，並且每輸入幾個字母，這個圖就會發生變化。
Meta介紹，如果用戶找到喜歡的圖片，可以讓 Meta AI 爲其製作動畫，或者轉換爲GIF圖片與朋友分享。
除了手機用戶，Meta還兼顧電腦用戶，上線了網站meta.ai，讓用戶在電腦上完成工作時也可以使用 Meta AI，讓它幫忙解數學題，讓工作電郵的內容更專業。用戶還可以登錄網站保存與Meta AI 的對話內容，供將來參考。
Meta AI 還可以在 Facebook、Instagram、WhatsApp 和 Messenger上進行網頁實時搜索。用戶可以通過網絡訪問實時信息，無需在這些社交媒體的應用程序App之間切換。假用戶正在 Messenger 群聊時計劃怎麼安排滑雪旅行。使用Messenger 中的搜索，可以要求 Meta AI 查找從紐約飛往科羅拉多州的航班，找出出行人數相對最少的週末，所有這些查找工作都無需離開 Messenger的App進行。
滾動瀏覽Facebook Feed 時，用戶也可以訪問Meta AI。如果發現感興趣的帖子，用戶可以在打開帖子後直接問Meta AI獲取更多相關信息。比如看到冰島北極光的照片，可以詢問 Meta AI 一年中的什麼時間最適合觀看北極光。
編輯/tolk