share_log

昆仑万维开源2千亿稀疏大模型天工MoE,全球首创能用4090推理

崑崙萬維開源2千億稀疏大模型天工MoE,全球首創能用4090推理

智通財經 ·  06/03 17:45
據崑崙萬維官微,2024年6月3日,崑崙萬維宣佈開源 2 千億稀疏大模型 Skywork-MoE , 性能強勁, 同時推理成本更低。Skywork-MoE 基於之前崑崙萬維開源的 Skywork-13B 模型中間 checkpoint 擴展而來, 是首個完整將 MoE Upcycling 技術應用並落地的開源千億 MoE大模型,也是首個支持用單臺 4090 服務器推理的開源千億 MoE大模型。

譯文內容由第三人軟體翻譯。


以上內容僅用作資訊或教育之目的,不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。
    搶先評論