今天AI圈又迎來一件大事：Meta正式發佈他們迄今最強的新一代開源大語言模型Llama3。
首批發布的Llama3 8B和Llama3 70B包括預訓練和指令微調版本，8K上下文，在兩個24K GPU定製集群上使用15萬億tokens數據訓練而成，Meta稱它們分別是80億和700億參數上最好的模型。同時一個參數超過400B的「最大Llama3」也在訓練中，社區認爲這個模型更恐怖，極有可能超過當前的閉源王者GPT-4 Turbo。
Llama3在各種行業基準測試中表現驚豔，廣泛支持各種場景。接下來幾個月，Meta將陸續引入新的功能，包括多語言對話、多模態、更長的上下文和更強整體核心性能，並將與社區分享研究論文。
扎克伯格和Meta首席AI科學家Yann LeCun分別在Instagram和X宣佈了這一消息。
網友們在評論區一片沸騰，馬斯克前排回應，不錯（有種淡淡的憂傷）。
我們趕快來看看Llama 3的具體性能表現：
多項測試成績大幅超過Gemini 1.5和Claude Sonnet
Meta表示，新一代Llama3在Llama 2 的基礎上有了重大飛躍，確立了 LLM的新標準。在預訓練和後訓練過程上的改進大大降低了錯誤拒絕率，提高了一致性，並增加了模型響應的多樣性。在推理、代碼生成和指令遵循等方面都得到了極大改善，使得 Llama 3 更加可控。
對照表中可見，Llama3 8B在大規模多任務語言理解、生成式預訓練問題回答、編碼和數學等LLM核心基準測試上都力挫Gemma 7B和Mistral 7B。Llama3 70B同樣戰勝 Gemini Pro 1.5和此前被誇爆了的Claude 3 Sonnet。
預訓練版本的Llama3 8B和70B也在通用智能評估、困難任務、ARC挑戰賽、DROP數據集上把Mitral 7B、Gemma 7B、Gemini Pro 1.0、新出的Mixtral 8x22B 打入手下敗將之列。
除了關注LLM標準基準測試項目， Meta還尋求模型在現實場景中的性能優化。爲此，他們開發了一套新的高質量人工評估集。包含 1800 個提示，涵蓋了“尋求建議、頭腦風暴、分類、封閉式問題回答、編碼、創意寫作、提取、模擬角色/人物、開放式問題回答、推理、重寫和總結” 這12 個關鍵用例。爲了防止發生意外過擬合，即使是 Meta自己的建模團隊也無法訪問它。
在這套評估集上， Llama3 70B與Claude Sonnet、Mistral Medium、GPT-3.5 和上一代Llama2對戰後勝率突出。（這裏沒有把GPT-4和Claude 3 Opus拉來對比，推測後續的400B模型將接過重任。）
Llama 3有哪些技術創新
Meta稱，在Llama3的開發過程中秉承了創新、擴展規模和優化簡潔性的設計理念。重點關注四個關鍵要素：模型架構、預訓練數據、擴大預訓練規模以及指令微調。下面分項來看：
模型架構
Llama 3 選擇了一個相對標準的純解碼器 Transformer 架構。
相比 Llama 2 的改進之處有：Llama 3 使用一個包含 128K tokens的分詞器，可以更有效地編碼語言，從而顯著提高模型性能；在 8B 和 70B 兩種規模上都採用了分組查詢注意力(GQA)機制來提高模型推理效率；同時在 8192 個tokens的序列上訓練模型，使用掩碼確保自注意力不會跨越文檔邊界。
訓練數據
Meta認爲訓練出最佳LLM的關鍵是要整理一個大型高質量訓練數據集，爲此他們投入了大量資源：
Llama 3 在超過 15 萬億個公開可用來源的token上進行了預訓練，比訓練 Llama 2 時的數據集足足大 7 倍，代碼量是 Llama 2 的 4 倍。其中超過 5% 來自高質量非英語數據，總共涵蓋了 30 多種語言，以爲即將到來的多語言使用場景做準備。
Llama3團隊開發了一系列數據過濾管道來保證數據質量。他們還進行了大量實驗，來評估在最終預訓練數據集中混合不同來源數據的最佳方式，以此來選擇一個包括STEM、編碼、歷史知識等等數據類別的最優數據組合，確保 Llama 3 在各種使用場景中表現良好。
擴大預訓練規模
爲了更有效利用預訓練數據，Meta針對下游基準評估開發了一系列詳細的擴展法則，在實際訓練模型之前就能預測最大模型在關鍵任務上的性能，來確保最終模型在各種使用場景和能力上都有出色的表現。
在 Llama 3 的開發過程中，團隊也對擴展行爲有了一些新的觀察。例如，儘管一個 8B 參數模型對應的最佳訓練計算量是 200B個 tokens，但他們的 8B 和 70B 參數模型在接受高達 15 萬億個token訓練後，性能仍然呈對數線性提高。
Meta結合了三種並行化方式：數據並行、模型並行和管道並行，來訓練最大的Llama3模型。最高效地實現在同時使用 16K 個 GPU 訓練時，每個 GPU 的計算利用率超過 400 TFLOPS。他們還開發了一個先進的新訓練堆棧，可以自動進行錯誤檢測、處理和維護，並進行了一系列硬件和可擴展存儲系統的改進。最終使總體有效訓練時間超過 95%，與 Llama 2 相比訓練效率提升了約 3 倍。
指令微調方法創新
爲了在聊天場景中充分釋放預訓練模型的潛力，Meta也在指令微調方法上進行了創新。後訓練方法採用監督微調(SFT)、拒絕採樣、鄰近策略優化(PPO)和直接策略優化(DPO)的組合。在模型質量上的最大改進來自於仔細整理的訓練數據，並對人工標註人員提供的標註進行多輪質量保證。
通過 PPO 和 DPO 從偏好排序中學習，也大大提高了 Llama 3 在推理和編碼任務上的性能。團隊發現，當你問模型一個它難以回答的推理問題時，模型會產生正確的推理軌跡：知道如何得出正確答案，但不知道如何選擇它。通過在偏好排序上進行訓練，模型就能學會如何去選擇正確答案。
在哪能體驗到Llama 3
根據官方介紹，Llama 3 將很快在所有主要平台上可用，包括雲服務商、API 提供商等。從AWS、Google Cloud、Databricks、Snowflake 、NVIDIA NIM到Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure——Llama 3 將無處不在。它也得到了 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 提供的硬件平台支持。
對於普通用戶來說，最方便直接感受Llama3的方式就是通過 Meta AI。
除了在WhatsApp、Messenger、Instagram、Facebook等應用與Meta AI聊天助手對話外，今天還推出了網頁版。即開即用，可以輸入文本提問來生成圖片和簡單代碼，支持實時搜索，其它功能還不是很完善。如果想存儲歷史記錄則需登錄Facebook賬號。
真正的“GPT-4級”開源模型
而Meta透露，Llama 3 8B 和 70B 只是 Llama 3 系列的開始，更多令人期待的東西即將到來。
一個超過 400B 參數的最大模型正在訓練中，開發團隊對此感到興奮。未來幾個月，Meta將發佈多個新功能，包括多模態、多語言對話能力、更長的上下文窗口以及更強大的整體能力。一旦完成所有Llama 3 的訓練，他們也會發表一篇詳細的研究論文供社區參考。
Llama3 8B和70B，加上一個證實了正在訓練的400B大模型，無疑向開源社區注入一支超強興奮劑。
而不久後即將發佈的Llama3 400B+會有多厲害？
大神卡帕西給予了很高評價：“Llama 3 是 Meta 一個看起來非常強大的模型。堅持基本原則，在可靠的系統和數據工作上花費大量高質量時間，探索長期訓練模型的極限。我也對 400B 模型非常興奮，它可能是第一個 GPT-4 級別的開源模型。我想很多人會要求更長的上下文長度。”
同時他也提出了個人請求，希望能有比 8B 更小參數，理想規模在0.1B到1B左右的模型，用於教育工作、(單元)測試、嵌入式應用等。
英偉達高級研究經理Jim Fan認爲，它將標誌着社區獲得對「GPT-4級別模型」開放權重訪問的分水嶺時刻，這將改變許多研究工作和草根創業公司的計算方法。
從當前預測數據來看，Llama3 400B+已經足以匹敵市場上最強大的Claude 3 Opus和GPT-4。而Llama-3-400B仍在訓練中，有望在接下來的幾個月中變得更好。“有如此強大的基礎設施，可以解鎖很多研究潛力。期待整個生態系統的建設者能量激增！”
一個讓所有人必須考慮的事實就是：開源模型追上閉源模型的歷史時刻可能就在眼前了。
這對開發者可能意味着，AI應用可以更加快速的湧現和迭代出來。
而對創業公司們來說，則意味着更徹底的思路上的衝擊。
它直接影響到所有以閉源模型 API 爲核心的商業模式——既然免費的足夠好用，爲什麼還要花錢呢？
更重要的是，如果連OpenAI、Google和Anthropic神祕的工具箱都不再高不可攀，那做一個比不上開源最強水平的閉源模型的意義何在呢。
最後還是不得不問一句：GPT-5，你到底在哪裏呢？