![](https://newsfile.futunn.com/public/NN-PersistNewsContentImage/7781/20240909/0-04e3f9a28881c19ef23f61642a26105e-0-5b97499228b96529cf1f27b1176da7ba.jpg/big)
復旦大學計算機科學技術學院教授、上海市數據科學重點實驗室主任肖仰華
在Scaling Law(縮放定律)的「指引」下,AI大模型技術正朝着加大訓練數據、加大算力投入、堆積參數等方向前進,模型一代代「膨脹」,因此,如何用更可靠的數據進行訓練模型,正逐步成爲AI大模型發展的根本性的、長期性的關鍵要素之一。
9月5日-7日舉行的2024 Inclusion·外灘大會「從DATA for AI到AI for DATA」見解論壇上披露的Epoch AI數據顯示,自2026年起,人類產生的新數據量將比模型學習的新數據量要少,預估到2028年,AI大語言模型將耗盡人類數據。
這意味着,無論是高質量的人類開放語料,還是互聯網開源流通的信息語料,未來基於這些數據技術的模型效果最終將出現「瓶頸」,從而很難實現比人類更智能的通用人工智能(AGI)目標。
那麼,如何用更優質的數據發展中國AI技術?高質量數據如何推高 AI 技術上限?
對此,9月6日下午,復旦大學計算機科學技術學院教授、上海市數據科學重點實驗室主任肖仰華與鈦媒體AGI等少數媒體進行對話交流。
肖仰華教授認爲,AI 大模型落地的本質仍然是數據工程。但當前,大模型發展過程中,其對數據的消耗和使用極爲「粗放」,對數據的使用效率極爲「低下」,和人類相比遠遠不足,同時,千億大模型的數據可能存在極大「水分」,現在已經處於「大模型數據耗光」這一狀態。因此,發展合成數據、私域數據、個人數據訓練,可以進一步提升大模型的技術能力。
當前,AI 大模型技術領域,爲了達到AGI,模語料數據規模變得「越來越大」。
以Meta公司發佈的開源大模型Llama 3爲例,其使用了15T Tokens,是古代世界最大圖書館——亞歷山大圖書館70萬冊藏書(以每冊10萬字計,累計70G Tokens)規模的200多倍。
更早之前,OpenAI披露,GPT-3.5的文本數據多達45TB,相當於472萬套中國四大名著(《三國演義》、《西遊記》、《水滸傳》、《紅樓夢》),而GPT-4在之前訓練數據集的基礎上又增加了多模態數據,規模達數十萬億級Token。
儘管大模型所展現出的重要能力,得益於背後的海量數據、蘊含了豐富的知識和智能。然而,當前大模型仍面臨「幻覺」、垂直行業信息缺乏等核心挑戰。其中,大模型生成不正確、無意義或不真實的文本的「幻覺」現象,受到廣泛關注,公開研究曾披露OpenAI GPT-4模型的錯誤率能達到20%以上,而造成這一現象的主要原因是大模型缺乏高質量數據支撐。
在一定程度上,數據決定了 AI 大模型「智能水平」的上限,但當前的千億大模型當中,80%都是「水分」,即大量的語料數據都是無意義、錯誤率極高的信息。
所以,提高數據的質量和多樣性等方式,對於未來大模型技術發展以及落地應用來說至關重要。
肖仰華現任復旦大學計算機科學技術學院教授、博導,上海市數據科學重點實驗室主任,復旦大學知識工場實驗室負責人,2009年獲得復旦大學博士學位後留校任教,研究方向包括知識圖譜、大模型以及社會科學啓發下的人工智能等。
肖仰華在演講中表示,當前大模型技術實現過程中,數據消耗了極大人力資源與資本投入,所以大模型落地的本質仍然是數據工程,數據在整個大模型技術體系中處於一個核心的基礎地位。
因此,如果大模型真的要走向千行百業,必須要解決「幻覺」問題,背後則需要運用合成數據、私域數據、個人數據、小模型、知識圖譜等技術方法,或協同方案。
「實際上,現在所謂的千億大模型可能存在極大『水分』,大多數參數可能只是在編碼瑣碎而雜多的事實,與大模型的智商關係不大。所以,我們有沒有可能在這1000億模型基礎之上將『水分』擠掉,把無用的知識全部榨乾,只留下100億、10億最關鍵的數據參數,它將決定大模型理性能力的關鍵。被擠掉的『水分』知識完全可以放在外部文檔系統裏,通過RAG系統能夠在應用時檢索到即可。」肖仰華對鈦媒體AGI表示。
他坦言,越來越多的人仍然是把精力花在找更多的數據而非質量,已經存在一些研究成果表明5%的優質指令數據有可能會比100%的一般指令取得更好的大模型微調效果,所以大衆不應該能再盲目追求數量,而是要去想一想數據質量如何提升。
對於數據消耗,肖仰華詳細分析了三個形成基於高質量數據的模型技術方案:合成數據、私域數據、個人數據。
首先是合成數據。互聯網數據雖然消耗殆盡,但人類可以在這個數據基礎之上合成更多的數據,可以在原始數據上不斷思考、反思、關聯、融合,產生更多的數據。合成數據是很重要的思路,不僅只是爲了緩解數據用光的問題,而且合成數據大部分是人類思考過程的數據,實際上可能比現在已經獲取的數據更多。通過合成數據把大量隱性、沒有記錄、沒有表達、過程的偏重思維的數據表達出來,這種數據對激發大模型的智商,或者理性能力至關重要。現在大模型其實只有知性,沒有理性,因此,合成數據就是提升理性能力非常重要的一個思路。使用模擬思考過程的合成數據訓練大模型,它才能知道應該怎麼去思考問題,而合成數據既是爲了緩解數據的「饑荒」,也是爲了提升大模型理性能力。
第二是私域數據。人類更多高質量、高價值的數據是在私域(垂直行業)當中,如果使用私域數據訓練大模型,可能會讓大模型變成行業專家。因此,用好私域數據是很關鍵的因素,數據有待挖掘的潛力仍然十分之大。
最後是個人數據。個人數據用於訓練大模型才剛剛開始,包括蘋果在內的很多手機終端廠商,下一步一定是用個人數據和大模型結合。因此,如何把個性大數據和大模型結合好,變成個性化大模型,爲每個人提供服務,對此未來還有很長的路要走。
不過,肖仰華也認爲,當前數據要素市場尚不健全,使得私域數據的匯聚和交易流通也是困難重重,挑戰非常之多。同時,大模型對數據利用的「貪婪程度」,也影響了數據的存儲、生產、加工、流通、消費各個環節的技術走向。
「模型的評估、數據的篩選和模型的訓練三件事應該是『三位一體』的,我們需要注重數據的用法。」肖仰華稱。
在肖仰華看來,AI大模型技術發展至今,仍然還處在一個非常早期的時代,從原理和源頭上還完全缺乏理論和方法,而且大模型參數量變大,並沒有讓它的智商和理性能力所有增長。
「Scaling Law很快就會見到天花板,或者說我們要重新去看待Scaling Law。並且,我們要從源頭上去梳理這些問題,去激發大模型的核心認知能力,提升大模型的理性水平。」肖仰華表示。
不過,部分學者對於合成數據的前景也有一些懷疑和爭議。
9月6日,OpenAI創始成員、AI+教育公司Eureka Labs創始人安德烈·卡帕蒂(Andrej Karpathy)在播客節目 No Priors節目中表示,Transformer 還遠沒到自己的極限,新的改進和創新主要集中在數據集方面。儘管使用合成數據對於創造下一代大模型有很大幫助,但合成數據往往多樣性和豐富度不足。
安德烈·卡帕蒂也承認,當前數十億級參數量的大模型存在很多無用信息,他認爲與互聯網數據本身有關,因爲其可能是由 0.001% 的認知數據和 99.999% 的相似或無用信息構成的。而當前的模型浪費了大量容量來記憶無關緊要的事情,原因是數據集沒有經過精細化的調整(curation)。而真正用於思考的認知核心(cognitive core)可以非常小,如果它需要查找信息,它會知道如何使用不同的工具。未來,未來當下一代模型發揮作用時,它們會出現不同的分工,比如程序員、產品經理等。
另一方面,肖仰華表示反對「機器取代人類」的這一觀點,他認爲技術的所有進步和發展還是要「以人爲本」,沒有人的文明是沒有意義的。
「現在大模型就很擅長,可以很容易做到一段文字一字不錯。事實上,文字偶爾出錯無傷大雅,重要的不是文字有否錯別字,而是文字背後是否是真知灼見。我們在太多無意義的細枝末節浪費太多精力,而對事關宏旨的本質卻又輕鬆放過。以大模型爲代表的AGI的到來,粉碎了人類無意義的事項,倒逼人類回歸價值本原。」肖仰華稱。
展望未來下一代萬億級參數的GPT模型,肖仰華指出,未來也許大家並不需要過多的數據,只需精煉即可。然而,在此之前,人類可能需要通過萬卡訓練和打造萬億模型,以此來探索智能的極限。但早期的那些千億、萬億的大模型,可能存在很大的 「水分」。所以,人類必須先擁有 「水分」 充足的大模型,然後才有可能擠出這些 「水分」,從而獲得一個小而精的模型。最後,基於這個小而精的基座模型進行微調與訓練,在小規模集群或單機上完成微調工作。
肖仰華強調,這波生成式大模型的泡沫早晚會破,天花板一定會到來。首先,人類產生優質數據的過程是相對緩慢的,大家不可能每天都產生對於世界的重大新認識,優質數據的緩慢生產速度爲成爲大模型發展的天花板。其次,合成數據的質量控制仍存在不少技術挑戰,且合成數據是基於原始真實數據推理而產生的,因此也會限制大模型獲得本質新穎的知識與能力,也就是大模型會遭遇所謂的演繹閉包困難。最後,即便訓練出來了參數規模是人腦的10倍、100倍的超級大模型,人類當下的智識水平可能限制我們去認識這樣一個超級智能形態。這樣一個可能的超級存在也就與人類無關。試想一下,如果螞蟻文明舉全體螞蟻世界之力造出了人類水平的智能,那麼這個相對於螞蟻而言神一樣的智能體一定是忙於探索星辰大海,去接近或實現一個更高的存在,而無暇去關照自己的造物主。
「AI 好比一個照妖鏡,將人類社會一切沒有價值的事情進行摧毀,倒逼大家去做真正有價值和有意義的事情。因此,AI 的未來發展倒逼所有行業回歸價值本原,要讓人類做真正有價值的事。」肖仰華表示。
(本文首發於鈦媒體App,作者|林志佳,編輯|胡潤峯)