跨國科技公司Yandex最近推出了用於訓練大型語言模型的開源方法YaFSDP。YaFSDP可用於增強GPU通信並減少LLM訓練中的內存使用量，與FSDP相比，其訓練速度提升最高可達26%。YaFSDP方法目前已可以在Github上免費訪問。
Yandex开源大型语言模型训练工具YaFSDP
Yandex開源大型語言模型訓練工具YaFSDP
譯文內容由第三人軟體翻譯。
以上內容僅用作資訊或教育之目的，不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。
譯文內容由第三人軟體翻譯。