share_log

中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

中國電信發佈單體稠密萬億參數語義模型 用了普通訓練方案9%的算力資源

快訊 ·  06/19 12:44

近日,中國電信人工智能研究院(TeleAI)聯合北京智源人工智能研究院發佈了全球首個單體稠密萬億參數語義模型Tele-FLM-1T,成爲國內首批發布稠密萬億參數大模型的機構。記者了解到,針對大模型訓練算力消耗高的問題,TeleAI與智源基於模型生長和損失預測等關鍵技術聯合研發出的Tele-FLM系列模型,僅使用了業界普通訓練方案9%的算力資源,基於112臺A800服務器,用時4個月完成了3個模型總計2.3T tokens的訓練。

譯文內容由第三人軟體翻譯。


以上內容僅用作資訊或教育之目的,不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。
    搶先評論