①中國工程院院士鄭緯民此前曾做過這樣的計算，在大模型訓練過程中，70%開銷要花在算力上；推理過程中95%的花費也是在算力上。 ②今年以來，已有多個大模型廠商完成架構升級，併發布了基於MoE架構的大模型，從測試數據來看，新架構下的大模型性能有了明顯提升。
財聯社6月6日訊（記者郭松嶠） 算力是AI發展的基礎設施。財聯社記者了解到，以“AI工廠”理念打造的北京數字經濟算力中心基礎設施建設近日正式啓動施工，預計將於今年完成基礎設施建設。
目前，項目已在酒仙橋地區部署完成了400PFlops國內外算力設備上架和調試等工作。預計2024年年底完成北京數字經濟算力中心基礎設施建設。整體投產後，將逐步累計實現2000PFlops智能算力供給，爲人工智能產業提供普惠算力服務，支持朝陽區乃至北京市數字經濟產業發展。
中國通信工業協會數字經濟平台分會副會長高澤龍對財聯社記者表示，通過建設算力中心，可以提供強大的計算資源，這對於數字經濟的發展至關重要，因爲算力是支撐大數據、雲計算、人工智能等數字技術的核心。此外，普惠算力服務可以降低企業尤其是中小型企業的技術門檻和成本，使他們能夠更容易地接入和使用先進的數字技術，從而推動產業升級和轉型。
中國工程院院士鄭緯民此前曾做過這樣的計算，在大模型訓練過程中，70%開銷要花在算力上；推理過程中95%的花費也是在算力上。
鄭緯民表示，現有14個國家掛牌的超算系統，每臺機器的建設成本都很高，成本在10億元至20億元，甚至更高。這些超算系統已經爲我國國民經濟發展作出巨大貢獻，但有些系統還有空餘算力，這些空餘算力也可被用來做大模型訓練，且經過優化甚至可降低大模型訓練成本。
算力的發展，離不開政府對人工智能產業的高度重視。2023年10月，工業和信息化部等六部門聯合印發《算力基礎設施高質量發展行動計劃》，提出到2025年我國算力規模超過300EFLOPS，智能算力佔比達到35%。
具體到城市來看，財聯社記者了解到，今年北京計劃新增公共智能算力8000P，目前北京人工智能公共算力平台京能上莊節點2000P高性能算力已就位，率先達到3500P算力供給，年內將結合產業發展需求進一步擴容，規劃打造萬P算力，形成大規模算力集群。
當前業界大模型在性能不斷提升的同時，也面臨着消耗算力大幅攀升的問題，對企業落地應用大模型帶來了極大的困難和挑戰。而大幅提升的模算效率將爲企業開發應用生成式AI提供模型高性能、算力低門檻的高效路徑。
今年以來，已有多個大模型廠商完成架構升級，併發布了基於MoE架構的大模型，從測試數據來看，新架構下的大模型性能有了明顯提升。
從企業端來看，浪潮信息日前發佈了“源2.0-M32”開源大模型，其基於“源2.0”系列大模型已有工作基礎，創新提出和採用了“基於注意力機制的門控網絡”技術，構建包含32個專家(Expert)的混合專家模型(MoE)，並大幅提升了模型算力效率，模型運行時激活參數爲37億，在業界主流基準評測中性能全面對標700億參數的LLaMA3開源大模型。
浪潮信息人工智能首席科學家吳韶華對財聯社記者表示，當前業界大模型在性能不斷提升的同時，也面臨着所消耗算力大幅攀升的問題，對企業落地應用大模型帶來了極大的困難和挑戰。我們一直在想如何以更低的算力消耗，提高整個大模型的應用效果，能讓企業、機構以更小的算力代價去獲得更高的模型能力。
吳韶華進一步對記者表示，整體來看，儘管當前模型的能力提升非常之快，但之前大家更多關注單個維度問題，即平均精度的提升。但大模型進入快速落地時代，就不得不考慮更多維度的問題，包括模算效率、精度、算力開銷等。