中國聯通宣佈,聯通數據智能公司打造、首個完全在國產昇騰AI軟硬件平台上實現訓練和推理的中文原生文生圖模型「聯通元景文生圖模型」,正式開源。
該模型實現了多項自主創新突破:
首先是在架構上,通過在SDXL架構中融合複合語言編碼模塊,實現了對中文長文本、多屬性對應和中文特色詞彙的精確語義理解,對應圖像的生成效果得到了極大提升。
其次是在昇騰AI大規模算力集群上,實現了中文原生文生圖模型的訓練和推理,並將模型和代碼對業界開源,以推動文生圖領域的國產化進程。
據悉,原始SDXL的語言編碼器僅使用英文CLIP模型,智能支持英文文本輸入,輸入長度也不能超過77個token。
對此,聯通元景文生圖模型一方面將英文CLIP模型替換成中文CLIP,並引入複合語言編碼架構,使用基於encoder-decoder架構的語言模型,突破文本長度限制。
通過引入複合語言編碼模塊,元景文生圖模型實現了原生中文語義理解,避免了利用翻譯插件等作爲中介調用英文文生圖模型造成的中文信息損失。
同時,通過引入海量中文圖文對數據進行預訓練,模型對中文專屬名詞,如鼠標-老鼠、仙鶴-吊車等英文模型易混淆的對象,以及中文菜譜等英文模型無法理解的名詞,都能夠準確理解並生成對應的高質量圖片。
(在英文中均翻譯成crane,易混淆)
(中文特色詞彙)
中國聯通在國產昇騰AI基礎軟硬件平台上實現了元景文生圖模型從微調訓練到推理的一體化適配。
在微調訓練方面,用戶可使用自定義數據集,實現從其它平台至昇騰的平滑切換;
在模型推理方面,接口與Diffusers對齊,簡單易用,支持單卡和多卡,單卡推理支持UNet Cache加速。
該模型已在聯通的多個內外部項目中服務於文創、服裝、工業設計等諸多領域,支撐了中華器靈、服裝大模型等數十個案例。
聯通元景文生圖模型賦能服裝設計
聯通元景文生圖模型賦能文物活化
目前,元景文生圖模型已在GitHub、Hugging Face、魔搭、始智等社區全面開源,地址如下:
GitHub:
HuggingFace:
魔搭:
始智:
聯通元景文生圖模型在全球數字經濟大會上獲獎