扎克伯格期待Llama3.1成为「老师」,用来微调小模型。
当地时间 7 月 23 日早上,$Meta Platforms (META.US)$ 开源了外界期待已久的大参数模型——Llama 3 405B。
Meta 发文称,该模型在多项基准测试中优于 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。并且,扎克伯格预计,由 Llama3 支持的 Meta AI(Meta 的人工智能助手)使用量将在未来几个月内超过 ChatGPT。
比肩世界上最强大模型的 Llama3.1 开源,社交平台 X 上,很多人将这一事件视为历史、拐点、史诗级时刻,这意味开源、闭源之间的差距进一步缩小乃至反超,还意味着开发者从此有了一个免费的最强基座模型在手。
在扎克伯格看来,这个拐点时刻则意味着「Llama 有机会成为开源 AI 的行业标准」,就像 Linux 之于移动互联网一样 。
但与之相反,不少从业者指出一个问题,4000 亿参数量级的密集模型,即便开源,很多人可能也用不起来,尤其是考虑到运行如此规模模型的算力集群的复杂程度,再加上比较高的运行、推理成本,真正能用得上、用得转的开发者并不多。
去年 Llama2 开源时,外界原本期待 Meta 逐渐开源最强模型后,难望项背的 GPT-4 能力的可以瞬间免费地加持所有人,直接拿来探索 AI 应用。但现在似乎不同,从最强模型中蒸馏小模型,成为了 Llama 3 405B 新的产业意义吗?
Llama3.1:比肩 GPT-4o,非 MOE 架构,但多模态能力仍是期货 早在今年四月,Meta 先开源了 Llama3 系列的两个小参数版本的模型,8B 和 70B。比起几个月前的 Llama 3,现在推出的 Llama 3.1 升级了先前的 8B 和 70B 模型,还发布了迄今为止最大的开源模型 Llama 3 405B——后者拥有 4050 亿个模型参数,采用了密集 Transformer 架构,具有 128K 的上下文窗口。
相比 Meta 去年 7 月发布的 Llama2,迄今为止最大、最好的开源模型 Llama3.1 在众多方面做了升级。
数据: 使用了约 15T 的多语言 token,相较于 Llama 2 的 1.8T 有显著提升。
规模: Llama 3 的训练规模是 Llama 2 的 50 倍,模型参数和训练计算量均大幅增加。
复杂性管理: 选择标准的密集 Transformer 架构,而非混合专家模型,以确保训练的稳定性。
截图来源:Meet Llama 3.1 与行业水平相比,Llama 3 在多项任务上有着与领先模型(如 GPT-4)相当的性能,其在多个基准测试中表现优异,包括:
通用:在 MMLU、GSM8K 等基准上表现突出。
编程能力:在 HumanEval 和 MBPP 等编程基准上取得高分。
多语言能力:支持多种语言,尤其在德语、法语等语言上表现良好。
值得注意的是,去年 3 月 OpenAI 推出的 GPT-4 是拥有 1.8 万亿参数的 MOE 架构(混合专家模型),自那以来,海内外大模型厂商大都采用或者迁移至这一架构,但今天发布的 Llama3.1 并没有采用这一架构。
在目前火热的技术路线——多模态融合上,Llama3 目前也并不支持。官方论文介绍称,Llama 3.1 支持多语言、编程、推理和工具使用,但目前还无法处理图像、视频或语音。论文中提到,Meta 正在致力于为该模型添加图像识别、视频识别和语音理解功能,但具有这些功能的版本「仍在积极开发中,尚未准备好发布」。
Meta 的星辰大海是 AI 生态系统 今年 4 月的一档播客访谈节目中,扎克伯格透露今年年末才会推出 Llama 3 405B,并且这个模型开源与否要视情况而定。显然,这个时间表被提前了,在其尚不支持多模态、模型能力也尚不完美时,现在就开源可获得。这是为什么?
在 Meta 官网,扎克伯格写了一封「开源 AI 是未来之路」(Open Source AI Is the Path Forward)的信,或许可以回答这个问题。
在他看来,人工智能会以类似 Linux 的方式发展,而 Meta 有机会做大模型时代的 Linux,成为开源 AI 的行业标准 。
在高性能计算早期,主要科技公司都投入巨资开发自己的 Unix 闭源版本,当时也很难想象任何其他方法来开发软件。但最终,开源 Linux 获得了普及——最初是因为它允许开发人员随心所欲地修改其代码,而且价格更便宜,随着时间的推移,它变得更先进、更安全,并且拥有比任何封闭式 Unix 更广泛的生态系统,支持更多功能。如今,Linux 已成为云计算和运行大多数移动设备的操作系统的行业标准基础。
扎克伯格认为,尽管多家公司正在开发领先的闭源模型,但开源正在迅速缩小差距 。以 Meta 为例,去年 Llama 2 只能与第一梯队玩家的旧版模型相媲美,今年,Llama 3 与最先进的模型竞争,并在某些方面处于领先地位。Meta 预计,未来的几代 Llama 将成为业内最先进的模型。
从这一代模型开始,Meta 还将通过建立广泛、开放的生态系统,致力于使开源 AI 成为行业标准,使 Llama 成为行业标准。比如像这次伴随 Llama3.1 的发布,与生态伙伴的「嵌合」也更加紧密:Amazon、Databricks 和英伟达推出全套服务来支持开发人员微调和「蒸馏」自己的模型。
像 Groq 这样的创新者已经为所有新模型构建了低延迟、低成本的推理。云厂商已经准备好云上部署 Llama3.1,包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴尔、德勤等公司已准备好帮助企业采用 Llama 并使用自己的数据训练自定义模型。
截图来源:Meet Llama 3.1 Meta 大力投资开源的根本原因,当然是希望确保其可以获得领先的模型。
但扎克伯格称,在 Llama-3.1 之前,他本能地认为,如果 Llama 开源,就会有一个社区自发地围绕它成长。或许是考虑到模型的部署不同于其他开源项目,还需要很多动手操作的环节、也需要很多资源支持,扎克伯格决定在扩展生态系统上更积极。
「我相信 Llama 3.1 版本将成为行业的一个转折点,大多数开发人员开始主要使用开源 ,并且我预计这种方法只会从这里开始发展。」
OpenAI 的愿景是构建一个大 AI,Anthropic 和谷歌也有类似的愿景。但 Meta 的愿景是有很多不同的模型。每个创业公司、每个企业、每个政府都希望拥有自己的定制模型。而当闭源生态系统比开源系统好得多时,使用现成的闭源模型是更好的选择,但现在不同了。
现在,开源基本上弥合了这一差距,人们现在有动力去定制和构建并训练适合他们需求的模型,将他们的数据训练到模型中。
谁能用上 Llama 3.1? 官方报告指出,Llama 3.1 使用了超过 1.6 万个英伟达 H100 GPU 训练而来,The Verge 根据其所用英伟达芯片的成本估计,其训练成本为数亿美元。
能省去这么一大笔钱,还有一个最强的基座模型,这是对开源最强模型的本能期待。但把模型落地到场景里,还有一个迫在眉睫的现实问题——到底有多少开发者有能力把 4050 亿参数的密集模型用起来。
深度学习框架 PyTorch 的联合创始人、Facebook AI Research (FAIR) 的研究员 Soumith Chintala 发推称 Meta 调度 1.6 万 H100 GPU 算力集群的有效训练时间达到 90%。|图片来源:X.com
Llama3 论文中,有很长的篇幅在讲基础设施,1.6 万张 H100 集群在训练过程中会如何失败,包括如何并行化、保持集群可靠等。对此,英伟达高级科学家 Jim Fan 转发点评,「基础设施工作是人工智能领域最被低估的工作,我能从这张表中的数字感受到内脏的疼痛和折磨」。
就运行 Llama 的开源模型而言,The Information 此前报道,应用程序开发者已经能够使用一组八个连接的 AI 服务器芯片(称为节点)来运行开源模型。Llama 3 的较小版本可以正常运行,但较大的模型可能无法适应单个节点,而是需要多个节点。
帮助开发人员运行开源模型的推理提供商表示,这会带来很多复杂性。为大模型提供支持的节点必须能够协同工作,或者相互「交谈」,而这并不容易设置。在某些情况下,这意味着节点在物理上必须彼此靠近。
通常,对于较小的模型,推理提供商可以使用相同的节点来处理不同客户的请求,只要他们使用相同的 LLM。然而,对于较大的模型变得更加困难,因为它们需要同时协调多个节点(多节点推理)。
有推理供应商称,可能需要几周甚至几个月的时间来重新设计他们的系统,以便能够处理来自 Meta 的 4050 亿个参数模型。在一日千里的大模型领域,这是很多时间。
同时,这些多节点配置也会提高运行模型的成本,尽管模型是免费提供的,但运行成本有时已经高于闭源模型 。
Meta 当然意识到这个问题,与最大开源模型一同推出的,还有生态伙伴的合作方案,可以帮助任何开发者部署 Llama3.1 和各种工程化调优任务。但它仍然可能成为开发者使用 Llama3「超大杯」的一个挑战。
扎克伯格:乐于看到人们拿 Llama3.1 蒸馏小模型 在 Meta 看来,Llama 开源「除了相对于闭源模型具有明显更好的性价比之外,405B 模型的开放性这一事实将使其成为微调和蒸馏较小模型的最佳选择 」。
此前,OpenAI 发现字节跳动通过大量与 GPT-4 对话、蒸馏其高质量数据后,第一时间封号、禁止了这种做法。现在,Meta 却主动提出让大家蒸馏。更值得玩味的是,开源一个最强模型后的使用场景不是免费拿它去做 AI 应用,而是蒸馏自己的小模型。
ChatGPT 发布一年半以来,真实的市场需求下,很多企业并不会大规模使用大模型 API,而是基于开源模型做微调、从最强模型中蒸馏出企业自己可用的小模型,因为用户和企业都非常关心他们的私人数据,以及关键模型的「自主可控」。
其中,微调(Fine-tuning)指的是利用已有的预训练模型,在新的数据集上继续训练,对模型的参数进行少量的调整和优化,以使其适应特定的任务或领域。
蒸馏(Distillation)则是一种将大型复杂模型的知识压缩并传递给较小、较简单模型的技术。能在保持一定性能的前提下,降低模型的计算量和参数规模,提高模型的部署效率和运行速度。
扎克伯格在一档采访节目中重申了这一点,「我最感兴趣的是看到人们用它来蒸馏和微调自己的模型。我非常期待看到人们如何使用它,特别是现在我们制定了社区政策,允许人们将其用作教师模型来进行蒸馏和微调,基本上可以创建他们想要的任何其他模型」。
他认为,人们会希望直接在 4050 亿参数的模型上进行推理,因为据 Meta 估计,这样做的成本将比 GPT-4 低 50% 左右。人们可以将模型蒸馏到任何他们想要的大小,用于合成数据生成,作为教师模型使用。
「Meta AI 将超过 ChatGPT」 在大模型上,拥有最多 Super App 的 Meta,必须确保始终能够获得最好的 AI 技术。为了实现这一目标,开源是 Meta 的手段之一,策略则是建立一个强大的、开放的 AI 生态系统。
但这也带来一个质疑,Meta 没有像亚马逊、谷歌和微软那样拥有能够利用大模型推动业务的云计算,这就意味着 Meta 将其如此巨大的投入转化为收入的能力更加有限。
扎克伯格反而将这一质疑视为优势,他称,「出售大模型的访问权限不是我们的商业模式。这意味着公开发布 Llama 不会像闭源模型厂商那样削弱收入、可持续性或研究、投资能力。」
Meta 的 AI 商业化,目前仍是改进其广告业务、使其新的 AI 助手(Meta AI)成为杀手级 AI 用例 。
Llama 3.1 现在为 Meta AI 提供支持,Meta AI 是 Meta 应用程序和雷朋智能眼镜中提供的 AI 助手,它被定位为像 ChatGPT 这样的通用聊天机器人,几乎可以在 Instagram、Facebook 和 WhatsApp 的任何地方找到。
可选 Llama 3.1 支持 Meta AI|图片来源:Meta 官网 从本周开始,Llama 3.1 将首先通过美国的 WhatsApp 和 Meta AI 网站访问,随后在接下来的几周内通过 Instagram 和 Facebook 访问。它正在更新以支持新语言,包括法语、德语、印地语、意大利语和西班牙语。
伴随 Llama 3.1 的发布,Meta AI 添加了一项新的「想象我」功能,可以根据用户的特定肖像生成图像的功能。通过以这种方式而不是通过个人资料中的照片捕捉用户肖像,Meta 有望避免创建深度伪造(Deepfake)机器。
Meta AI 也将在未来几周内出现在 Quest 耳机中,取代其语音命令界面。就像它在 Meta Ray-Ban 眼镜中的实现一样,用户能够在 Quest 上使用 Meta AI 来识别和了解耳机直通模式下正在查看的内容,该模式通过显示屏显示现实世界。
扎克伯格在 Instagram 上发帖称,数亿人已经使用了 Meta AI。他预测,到今年年底,Meta AI 将超过 ChatGPT(ChatGPT 拥有超过 1 亿用户),成为使用最广泛被使用的 AI 助手。
对于未来的 AI 应用图景,扎克伯格称,Meta 的愿景是,应该有许多不同的 AI 及其 AI 服务,而不仅仅是单一的 AI,这一看法也影响了 Meta 的开源方法和产品路线图。
「我们的重点是让每个创作者和每个小企业都能创建自己的 AI Agent,使每个人都能在我们的平台上创建他们想要的 AI Agent,这些都是巨大的市场。世界上有数亿的小企业,一个企业可以通过几次点击就能创建一个 AI Agent 来进行客户支持、销售,并与所有客户沟通。未来每个企业都会像现在有电子邮件地址、网站和社交媒体一样,拥有一个他们的客户可以交流的 AI Agent。我们将生活在一个拥有数亿甚至数十亿不同 AI Agent 的世界里,可能最终 AI Agent 的数量会超过世界上的人口,人们将以各种不同的方式与它们互动。这是产品愿景的一部分,其中有很多商业机会,这是我们希望赚钱的地方。」
最后,他还剧透,Llama-4 已经在路上了,甚至不止 Llama4。「规划计算集群和数据轨迹不仅仅是针对 Llama-4,而是未来四五个版本的 Llama,这确实是件有趣的事情,因为这些都是需要长期投资的事情,建设数据中心、配套的电力、芯片架构和网络架构等」。
编辑/Somer
扎克伯格期待Llama3.1成爲「老師」,用來微調小模型。
當地時間 7 月 23 日早上,$Meta Platforms (META.US)$ 開源了外界期待已久的大參數模型——Llama 3 405B。
Meta 發文稱,該模型在多項基準測試中優於 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。並且,扎克伯格預計,由 Llama3 支持的 Meta AI(Meta 的人工智能助手)使用量將在未來幾個月內超過 ChatGPT。
比肩世界上最強大模型的 Llama3.1 開源,社交平台 X 上,很多人將這一事件視爲歷史、拐點、史詩級時刻,這意味開源、閉源之間的差距進一步縮小乃至反超,還意味着開發者從此有了一個免費的最強基座模型在手。
在扎克伯格看來,這個拐點時刻則意味着「Llama 有機會成爲開源 AI 的行業標準」,就像 Linux 之於移動互聯網一樣 。
但與之相反,不少從業者指出一個問題,4000 億參數量級的密集模型,即便開源,很多人可能也用不起來,尤其是考慮到運行如此規模模型的算力集群的複雜程度,再加上比較高的運行、推理成本,真正能用得上、用得轉的開發者並不多。
去年 Llama2 開源時,外界原本期待 Meta 逐漸開源最強模型後,難望項背的 GPT-4 能力的可以瞬間免費地加持所有人,直接拿來探索 AI 應用。但現在似乎不同,從最強模型中蒸餾小模型,成爲了 Llama 3 405B 新的產業意義嗎?
Llama3.1:比肩 GPT-4o,非 MOE 架構,但多模態能力仍是期貨 早在今年四月,Meta 先開源了 Llama3 系列的兩個小參數版本的模型,8B 和 70B。比起幾個月前的 Llama 3,現在推出的 Llama 3.1 升級了先前的 8B 和 70B 模型,還發布了迄今爲止最大的開源模型 Llama 3 405B——後者擁有 4050 億個模型參數,採用了密集 Transformer 架構,具有 128K 的上下文窗口。
相比 Meta 去年 7 月發佈的 Llama2,迄今爲止最大、最好的開源模型 Llama3.1 在衆多方面做了升級。
數據: 使用了約 15T 的多語言 token,相較於 Llama 2 的 1.8T 有顯著提升。
規模: Llama 3 的訓練規模是 Llama 2 的 50 倍,模型參數和訓練計算量均大幅增加。
複雜性管理: 選擇標準的密集 Transformer 架構,而非混合專家模型,以確保訓練的穩定性。
截圖來源:Meet Llama 3.1 與行業水平相比,Llama 3 在多項任務上有着與領先模型(如 GPT-4)相當的性能,其在多個基準測試中表現優異,包括:
通用:在 MMLU、GSM8K 等基準上表現突出。
編程能力:在 HumanEval 和 MBPP 等編程基準上取得高分。
多語言能力:支持多種語言,尤其在德語、法語等語言上表現良好。
值得注意的是,去年 3 月 OpenAI 推出的 GPT-4 是擁有 1.8 萬億參數的 MOE 架構(混合專家模型),自那以來,海內外大模型廠商大都採用或者遷移至這一架構,但今天發佈的 Llama3.1 並沒有採用這一架構。
在目前火熱的技術路線——多模態融合上,Llama3 目前也並不支持。官方論文介紹稱,Llama 3.1 支持多語言、編程、推理和工具使用,但目前還無法處理圖像、視頻或語音。論文中提到,Meta 正在致力於爲該模型添加圖像識別、視頻識別和語音理解功能,但具有這些功能的版本「仍在積極開發中,尚未準備好發佈」。
Meta 的星辰大海是 AI 生態系統 今年 4 月的一檔播客訪談節目中,扎克伯格透露今年年末才會推出 Llama 3 405B,並且這個模型開源與否要視情況而定。顯然,這個時間表被提前了,在其尚不支持多模態、模型能力也尚不完美時,現在就開源可獲得。這是爲什麼?
在 Meta 官網,扎克伯格寫了一封「開源 AI 是未來之路」(Open Source AI Is the Path Forward)的信,或許可以回答這個問題。
在他看來,人工智能會以類似 Linux 的方式發展,而 Meta 有機會做大模型時代的 Linux,成爲開源 AI 的行業標準 。
在高性能計算早期,主要科技公司都投入巨資開發自己的 Unix 閉源版本,當時也很難想象任何其他方法來開發軟件。但最終,開源 Linux 獲得了普及——最初是因爲它允許開發人員隨心所欲地修改其代碼,而且價格更便宜,隨着時間的推移,它變得更先進、更安全,並且擁有比任何封閉式 Unix 更廣泛的生態系統,支持更多功能。如今,Linux 已成爲雲計算和運行大多數移動設備的操作系統的行業標準基礎。
扎克伯格認爲,儘管多家公司正在開發領先的閉源模型,但開源正在迅速縮小差距 。以 Meta 爲例,去年 Llama 2 只能與第一梯隊玩家的舊版模型相媲美,今年,Llama 3 與最先進的模型競爭,並在某些方面處於領先地位。Meta 預計,未來的幾代 Llama 將成爲業內最先進的模型。
從這一代模型開始,Meta 還將通過建立廣泛、開放的生態系統,致力於使開源 AI 成爲行業標準,使 Llama 成爲行業標準。比如像這次伴隨 Llama3.1 的發佈,與生態夥伴的「嵌合」也更加緊密:Amazon、Databricks 和英偉達推出全套服務來支持開發人員微調和「蒸餾」自己的模型。
像 Groq 這樣的創新者已經爲所有新模型構建了低延遲、低成本的推理。雲廠商已經準備好雲上部署 Llama3.1,包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴爾、德勤等公司已準備好幫助企業採用 Llama 並使用自己的數據訓練自定義模型。
截圖來源:Meet Llama 3.1 Meta 大力投資開源的根本原因,當然是希望確保其可以獲得領先的模型。
但扎克伯格稱,在 Llama-3.1 之前,他本能地認爲,如果 Llama 開源,就會有一個社區自發地圍繞它成長。或許是考慮到模型的部署不同於其他開源項目,還需要很多動手操作的環節、也需要很多資源支持,扎克伯格決定在擴展生態系統上更積極。
「我相信 Llama 3.1 版本將成爲行業的一個轉折點,大多數開發人員開始主要使用開源 ,並且我預計這種方法只會從這裏開始發展。」
OpenAI 的願景是構建一個大 AI,Anthropic 和谷歌也有類似的願景。但 Meta 的願景是有很多不同的模型。每個創業公司、每個企業、每個政府都希望擁有自己的定製模型。而當閉源生態系統比開源系統好得多時,使用現成的閉源模型是更好的選擇,但現在不同了。
現在,開源基本上彌合了這一差距,人們現在有動力去定製和構建並訓練適合他們需求的模型,將他們的數據訓練到模型中。
誰能用上 Llama 3.1? 官方報告指出,Llama 3.1 使用了超過 1.6 萬個英偉達 H100 GPU 訓練而來,The Verge 根據其所用英偉達芯片的成本估計,其訓練成本爲數億美元。
能省去這麼一大筆錢,還有一個最強的基座模型,這是對開源最強模型的本能期待。但把模型落地到場景裏,還有一個迫在眉睫的現實問題——到底有多少開發者有能力把 4050 億參數的密集模型用起來。
深度學習框架 PyTorch 的聯合創始人、Facebook AI Research (FAIR) 的研究員 Soumith Chintala 發推稱 Meta 調度 1.6 萬 H100 GPU 算力集群的有效訓練時間達到 90%。|圖片來源:X.com
Llama3 論文中,有很長的篇幅在講基礎設施,1.6 萬張 H100 集群在訓練過程中會如何失敗,包括如何並行化、保持集群可靠等。對此,英偉達高級科學家 Jim Fan 轉發點評,「基礎設施工作是人工智能領域最被低估的工作,我能從這張表中的數字感受到內臟的疼痛和折磨」。
就運行 Llama 的開源模型而言,The Information 此前報道,應用程序開發者已經能夠使用一組八個連接的 AI 服務器芯片(稱爲節點)來運行開源模型。Llama 3 的較小版本可以正常運行,但較大的模型可能無法適應單個節點,而是需要多個節點。
幫助開發人員運行開源模型的推理提供商表示,這會帶來很多複雜性。爲大模型提供支持的節點必須能夠協同工作,或者相互「交談」,而這並不容易設置。在某些情況下,這意味着節點在物理上必須彼此靠近。
通常,對於較小的模型,推理提供商可以使用相同的節點來處理不同客戶的請求,只要他們使用相同的 LLM。然而,對於較大的模型變得更加困難,因爲它們需要同時協調多個節點(多節點推理)。
有推理供應商稱,可能需要幾周甚至幾個月的時間來重新設計他們的系統,以便能夠處理來自 Meta 的 4050 億個參數模型。在一日千里的大模型領域,這是很多時間。
同時,這些多節點配置也會提高運行模型的成本,儘管模型是免費提供的,但運行成本有時已經高於閉源模型 。
Meta 當然意識到這個問題,與最大開源模型一同推出的,還有生態夥伴的合作方案,可以幫助任何開發者部署 Llama3.1 和各種工程化調優任務。但它仍然可能成爲開發者使用 Llama3「超大杯」的一個挑戰。
扎克伯格:樂於看到人們拿 Llama3.1 蒸餾小模型 在 Meta 看來,Llama 開源「除了相對於閉源模型具有明顯更好的性價比之外,405B 模型的開放性這一事實將使其成爲微調和蒸餾較小模型的最佳選擇 」。
此前,OpenAI 發現字節跳動通過大量與 GPT-4 對話、蒸餾其高質量數據後,第一時間封號、禁止了這種做法。現在,Meta 卻主動提出讓大家蒸餾。更值得玩味的是,開源一個最強模型後的使用場景不是免費拿它去做 AI 應用,而是蒸餾自己的小模型。
ChatGPT 發佈一年半以來,真實的市場需求下,很多企業並不會大規模使用大模型 API,而是基於開源模型做微調、從最強模型中蒸餾出企業自己可用的小模型,因爲用戶和企業都非常關心他們的私人數據,以及關鍵模型的「自主可控」。
其中,微調(Fine-tuning)指的是利用已有的預訓練模型,在新的數據集上繼續訓練,對模型的參數進行少量的調整和優化,以使其適應特定的任務或領域。
蒸餾(Distillation)則是一種將大型複雜模型的知識壓縮並傳遞給較小、較簡單模型的技術。能在保持一定性能的前提下,降低模型的計算量和參數規模,提高模型的部署效率和運行速度。
扎克伯格在一檔採訪節目中重申了這一點,「我最感興趣的是看到人們用它來蒸餾和微調自己的模型。我非常期待看到人們如何使用它,特別是現在我們制定了社區政策,允許人們將其用作教師模型來進行蒸餾和微調,基本上可以創建他們想要的任何其他模型」。
他認爲,人們會希望直接在 4050 億參數的模型上進行推理,因爲據 Meta 估計,這樣做的成本將比 GPT-4 低 50% 左右。人們可以將模型蒸餾到任何他們想要的大小,用於合成數據生成,作爲教師模型使用。
「Meta AI 將超過 ChatGPT」 在大模型上,擁有最多 Super App 的 Meta,必須確保始終能夠獲得最好的 AI 技術。爲了實現這一目標,開源是 Meta 的手段之一,策略則是建立一個強大的、開放的 AI 生態系統。
但這也帶來一個質疑,Meta 沒有像亞馬遜、谷歌和微軟那樣擁有能夠利用大模型推動業務的雲計算,這就意味着 Meta 將其如此巨大的投入轉化爲收入的能力更加有限。
扎克伯格反而將這一質疑視爲優勢,他稱,「出售大模型的訪問權限不是我們的商業模式。這意味着公開發布 Llama 不會像閉源模型廠商那樣削弱收入、可持續性或研究、投資能力。」
Meta 的 AI 商業化,目前仍是改進其廣告業務、使其新的 AI 助手(Meta AI)成爲殺手級 AI 用例 。
Llama 3.1 現在爲 Meta AI 提供支持,Meta AI 是 Meta 應用程序和雷朋智能眼鏡中提供的 AI 助手,它被定位爲像 ChatGPT 這樣的通用聊天機器人,幾乎可以在 Instagram、Facebook 和 WhatsApp 的任何地方找到。
可選 Llama 3.1 支持 Meta AI|圖片來源:Meta 官網 從本週開始,Llama 3.1 將首先通過美國的 WhatsApp 和 Meta AI 網站訪問,隨後在接下來的幾周內通過 Instagram 和 Facebook 訪問。它正在更新以支持新語言,包括法語、德語、印地語、意大利語和西班牙語。
伴隨 Llama 3.1 的發佈,Meta AI 添加了一項新的「想象我」功能,可以根據用戶的特定肖像生成圖像的功能。通過以這種方式而不是通過個人資料中的照片捕捉用戶肖像,Meta 有望避免創建深度僞造(Deepfake)機器。
Meta AI 也將在未來幾周內出現在 Quest 耳機中,取代其語音命令界面。就像它在 Meta Ray-Ban 眼鏡中的實現一樣,用戶能夠在 Quest 上使用 Meta AI 來識別和了解耳機直通模式下正在查看的內容,該模式通過顯示屏顯示現實世界。
扎克伯格在 Instagram 上發帖稱,數億人已經使用了 Meta AI。他預測,到今年年底,Meta AI 將超過 ChatGPT(ChatGPT 擁有超過 1 億用戶),成爲使用最廣泛被使用的 AI 助手。
對於未來的 AI 應用圖景,扎克伯格稱,Meta 的願景是,應該有許多不同的 AI 及其 AI 服務,而不僅僅是單一的 AI,這一看法也影響了 Meta 的開源方法和產品路線圖。
「我們的重點是讓每個創作者和每個小企業都能創建自己的 AI Agent,使每個人都能在我們的平台上創建他們想要的 AI Agent,這些都是巨大的市場。世界上有數億的小企業,一個企業可以通過幾次點擊就能創建一個 AI Agent 來進行客戶支持、銷售,並與所有客戶溝通。未來每個企業都會像現在有電子郵件地址、網站和社交媒體一樣,擁有一個他們的客戶可以交流的 AI Agent。我們將生活在一個擁有數億甚至數十億不同 AI Agent 的世界裏,可能最終 AI Agent 的數量會超過世界上的人口,人們將以各種不同的方式與它們互動。這是產品願景的一部分,其中有很多商業機會,這是我們希望賺錢的地方。」
最後,他還劇透,Llama-4 已經在路上了,甚至不止 Llama4。「規劃計算集群和數據軌跡不僅僅是針對 Llama-4,而是未來四五個版本的 Llama,這確實是件有趣的事情,因爲這些都是需要長期投資的事情,建設數據中心、配套的電力、芯片架構和網絡架構等」。
編輯/Somer