①螞蟻針對不同芯片持續調優,以降低AI應用成本,目前取得了一定的進展,也會逐步通過開源分享。螞蟻團隊設定的目標是「不使用高級GPU」來擴展模型”。
②近來,螞蟻集團在人工智能領域頻頻加碼,包括聯合華爲、阿里雲等推出「螞蟻醫療大模型一體機」,拓展具身智能、AI眼鏡等方向。
《科創板日報》3月24日訊(記者 黃心怡)繼阿里巴巴CEO吳泳銘宣佈要全面「AI 化」後,阿里系相關的螞蟻集團近期在AI上也動作不斷。
今日,針對關於螞蟻百靈大模型訓練成本的報道,螞蟻集團第一時間回應《科創板日報》稱:螞蟻針對不同芯片持續調優,以降低AI應用成本,目前取得了一定的進展,也會逐步通過開源分享。
螞蟻集團在本月發佈的最新研究論文顯示,其推出了兩款不同規模的MoE大語言模型——百靈輕量版(Ling-Lite)與百靈增強版(Ling-Plus),前者參數規模爲168億(激活參數27.5億),Plus基座模型參數規模高達2900億(激活參數288億)。實驗表明,其3000億參數的MoE大模型可在使用國產GPU的低性能設備上完成高效訓練,性能與完全使用英偉達芯片、同規模的稠密模型及MoE模型相當。
根據論文,雖然DeepSeek、阿里通義千問、MiniMax等系列的MoE大模型在特定任務中展現出卓越性能,但是MoE模型的訓練通常依賴高性能計算資源(如英偉達H100/H800等先進GPU),高昂成本制約了在資源受限環境中的普及應用。同時,近年來英偉達高性能芯片持續短缺,相比之下,低性能加速器供應更充足且單機成本更低。這種差異凸顯了構建跨異構計算單元與分佈式集群無縫切換技術框架的必要性。
因此,螞蟻團隊設定的目標是「不使用高級GPU」來擴展模型,通過在模型訓練環境、優化策略、基礎設施、訓練過程、評估結果、推理等層面進行優化和落地,旨在突破資源與預算限制實現高效大語言模型訓練。
螞蟻Ling團隊在五種不同的硬件配置上對9萬億個token進行Ling-Plus的預訓練。其中,使用高性能硬件配置訓練1萬億token的預訓練成本約爲635萬元人民幣,但螞蟻的優化方法將使用低規格硬件的訓練成本將降至508萬元左右,節省了近20%的成本,最終實現與阿里通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當的性能。
作爲螞蟻集團自研的大模型,百靈大模型重點佈局在生活服務、金融服務、醫療健康等場景的應用。後續,螞蟻百靈大模型Ling-Plus 和 Ling-Lite將計劃開源。
近來,螞蟻集團在人工智能領域頻頻加碼,其中醫療是一大重點方向。3月21日,螞蟻集團對外公佈了在醫療機構、醫生、用戶三端最新AI產品體系升級。其中,面向醫療機構,其聯合華爲醫療衛生軍團、阿里雲等推出「螞蟻醫療大模型一體機」;面向好大夫在線的29萬註冊醫生,發佈AI醫生助手系列工具;同時,服務用戶的健康應用「AI健康管家」也推出智能思考、健康自測等十餘項新功能。
此外,螞蟻集團也在拓展具身智能、AI眼鏡等方向。
螞蟻集團已註冊成立了上海螞蟻靈波科技有限公司。作爲螞蟻集團拓展具身智能和機器人業務的主要載體,螞蟻靈波科技將面向在家庭、養老、醫療健康等領域,助力上海浦東加快技術引領、行業集聚、產業升級步伐,打造以人形機器人爲引領的具身智能創新高地和具有行業影響力的創新產業生態。
而招聘信息顯示,螞蟻集團近日正招聘AI智能眼鏡的產品專家,要求有2C產品的經驗。《科創板日報》從接近螞蟻集團的人士處了解到,螞蟻近期確實在擴充準備智能眼鏡相關業務。
編輯/Jeffy