share_log

大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入局|行业动态

大模型一體機成趨勢!模型微調重要性凸顯 浪潮信息最新入局|行業動態

財聯社 ·  09/30 11:12

①一體機成爲大模型商業化探索過程中一大熱門趨勢,大模型廠商、ICT服務商及ISV服務商均已佈局。②目前公開招投標的AI項目中,硬件和服務佔總金額90%以上,浪潮信息一體機將硬件與面向大模型的解決方案做了整體打包。③業內關注模型微調、推理,微調重要性凸顯。

財聯社9月30日訊(記者 付靜)當前中國10億參數規模以上大模型數量已超100個,技術雖蓬勃發展而實際落地程度仍待提升。近日於鄭州召開的2024中國算力大會上,財聯社記者觀察到,大模型應用落地仍受到產業鏈關注,一體機則成爲大模型商業化探索過程中一大熱門趨勢,算力硬件廠商浪潮信息(000977.SZ)亦在此次大會上推出元腦企智EPAI(Enterprise Platform of AI)一體機,提供「算力+平台+服務」的大模型解決方案。

浪潮信息產品方案開發部總經理魏健在接受財聯社在內媒體採訪時表示,「應用現狀跟市場趨勢存在鴻溝,怎麼讓企業,特別是傳統企業把大模型應用快速落地,基於這樣一個背景,我們做了大模型一體機。」

此前工信部賽迪研究院數據顯示,2023年我國AI企業新增368家,生成式AI的企業採用率已達15%,其中製造業、零售業、電信行業、醫療健康四大行業採用率分別爲5%、13%、10%和7%;預計2035年生成式AI有望爲全球貢獻近90萬億元經濟價值,其中我國將突破30萬億元,佔比超四成。

同時魏健在採訪中提及一組數據:AI市場公開招投標的項目中,去年全年、今年上半年硬件方面佔比分別約60%、61%,軟件方面佔比分別約11%、5%,今年上半年服務方面佔比從去年的17%升至30%以上。「相當於說是硬件和服務佔了項目總金額的90%以上。」

魏健稱,此次浪潮信息發佈的一體機主要面向製造、金融等行業客戶、傳統ISV和SI三類用戶。以SI爲例,「多模管理也好、多元算力管理也好,還需要有對大模型專門的調優能力,我們可以把服務集成到一體機產品裏。」

據悉,元腦企智EPAI一體機基於爲大模型應用場景設計的元腦服務器,預置元腦企智EPAI企業大模型開發平台,支持8顆NVIDIA最新Hopper架構GPU全互聯在內的多元算力,預置Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7個基礎大模型,旨在解決數據處理、模型微調、RAG搭建、模型部署、應用上線和系統運維等問題。

財聯社記者注意到,元腦企智EPAI一體機涵蓋五種產品規格,主要面向推理、訓推一體化、整機櫃集群化交付等場景。

3X7a0sBOYG.jpg

(受訪者供圖)

「推理算力是一個很重要的增長方向,尤其是邊緣端推理。無論車路協同、智慧園區還是高速收費站等,邊緣領域的推理應用關注不同的產品形態。」魏健向財聯社記者表示。

「大模型其實從預訓練、微調到推理有大概三個階段,現在業內的關注點已經走到了微調跟推理,並且微調的重要性越來越凸顯了。」浪潮信息AI應用架構師Owen ZHU在採訪中表示。

Owen ZHU稱,此次發佈的一體機亦集成了部分當下與算力相匹配、在業內較爲可用易用的微調技術。他舉例稱,「一個10B參數的模型可能需要200-300G的顯存才能做微調,可能一臺機器就已經開始有點『勉強』了,更何況我們現在用的都是30B、40B的模型,至少需要三四臺機器,門檻也有點過高了。現在一些高效微調技術能做到用10G甚至不到10G的顯存把10B參數的模型微調跑起來。也就是說,一些新技術的應用能夠降低算力門檻。」

而站在成本角度,魏健告訴財聯社記者,浪潮信息大模型一體機新品單台價格在二三十萬到兩百萬之間,「如果用戶有50萬左右的硬件設備初期投入,就可以進行至少10億到300億參數規模的模型訓練,且在單機設備上用到更好的算力。」

同時她表示,浪潮信息對用戶的報價爲一體機整體報價,但「如果把一體機拆開來看,硬件可能佔80%,軟件佔20%。我們是一個產品公司,做這個商業模式,更多還是爲了激發整個行業生態的應用。」

「一體機的生意邏輯是對的,是否受客戶認可比較關鍵。」一位AI算力從業者告訴財聯社記者。

財聯社記者問及當前用戶對於大模型一體機的接受意願,魏健表示,「我了解到接受意願還是挺強烈的,(一體機)和一些傳統硬件用戶的使用習慣還是蠻匹配的。我們在過去三、四個月裏做了近百家的POC測試,有意願去做應用定製開發、讓我們整理數據等等的用戶其實能佔到30%。」

值得關注的是,大模型一體機在業內熱度較高,智譜AI、商湯科技、中軟國際等主流AI大模型廠商、ICT服務商及ISV服務商均已推出一體機相關產品。

Owen ZHU稱,「大家都在叫一體機,但其實內涵差距是比較大的。可能我們最開始聽到一體機的概念時是在講訓推一體,而現在我們在講的是把硬件跟面向大模型的解決方案整體打包的方案,是一個大模型的開發平台。」

「大模型廠商有的實際上跟我們是合作伙伴關係,但是我們的一體機跟他們有差異。大模型廠商在軟件、算法能力方面很強,我們更強調算力的調度管理、算法的調度,跟不同模型做適配,包括對模型參數也做了很多研究,其實還是爲了更好地發揮硬件性能優勢。」魏健告訴財聯社記者。

譯文內容由第三人軟體翻譯。


以上內容僅用作資訊或教育之目的,不構成與富途相關的任何投資建議。富途竭力但無法保證上述全部內容的真實性、準確性和原創性。
    搶先評論