![](https://newsfile.futunn.com/public/NN-PersistNewsContentImage/7781/20240909/0-04e3f9a28881c19ef23f61642a26105e-0-5b97499228b96529cf1f27b1176da7ba.jpg/big)
复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华
在Scaling Law(缩放定律)的“指引”下,AI大模型技术正朝着加大训练数据、加大算力投入、堆积参数等方向前进,模型一代代“膨胀”,因此,如何用更可靠的数据进行训练模型,正逐步成为AI大模型发展的根本性的、长期性的关键要素之一。
9月5日-7日举行的2024 Inclusion·外滩大会“从DATA for AI到AI for DATA”见解论坛上披露的Epoch AI数据显示,自2026年起,人类产生的新数据量将比模型学习的新数据量要少,预估到2028年,AI大语言模型将耗尽人类数据。
这意味着,无论是高质量的人类开放语料,还是互联网开源流通的信息语料,未来基于这些数据技术的模型效果最终将出现“瓶颈”,从而很难实现比人类更智能的通用人工智能(AGI)目标。
那么,如何用更优质的数据发展中国AI技术?高质量数据如何推高 AI 技术上限?
对此,9月6日下午,复旦大学计算机科学技术学院教授、上海市数据科学重点实验室主任肖仰华与钛媒体AGI等少数媒体进行对话交流。
肖仰华教授认为,AI 大模型落地的本质仍然是数据工程。但当前,大模型发展过程中,其对数据的消耗和使用极为“粗放”,对数据的使用效率极为“低下”,和人类相比远远不足,同时,千亿大模型的数据可能存在极大“水分”,现在已经处于“大模型数据耗光”这一状态。因此,发展合成数据、私域数据、个人数据训练,可以进一步提升大模型的技术能力。
当前,AI 大模型技术领域,为了达到AGI,模语料数据规模变得“越来越大”。
以Meta公司发布的开源大模型Llama 3为例,其使用了15T Tokens,是古代世界最大图书馆——亚历山大图书馆70万册藏书(以每册10万字计,累计70G Tokens)规模的200多倍。
更早之前,OpenAI披露,GPT-3.5的文本数据多达45TB,相当于472万套中国四大名著(《三国演义》、《西游记》、《水浒传》、《红楼梦》),而GPT-4在之前训练数据集的基础上又增加了多模态数据,规模达数十万亿级Token。
尽管大模型所展现出的重要能力,得益于背后的海量数据、蕴含了丰富的知识和智能。然而,当前大模型仍面临“幻觉”、垂直行业信息缺乏等核心挑战。其中,大模型生成不正确、无意义或不真实的文本的“幻觉”现象,受到广泛关注,公开研究曾披露OpenAI GPT-4模型的错误率能达到20%以上,而造成这一现象的主要原因是大模型缺乏高质量数据支撑。
在一定程度上,数据决定了 AI 大模型“智能水平”的上限,但当前的千亿大模型当中,80%都是“水分”,即大量的语料数据都是无意义、错误率极高的信息。
所以,提高数据的质量和多样性等方式,对于未来大模型技术发展以及落地应用来说至关重要。
肖仰华现任复旦大学计算机科学技术学院教授、博导,上海市数据科学重点实验室主任,复旦大学知识工场实验室负责人,2009年获得复旦大学博士学位后留校任教,研究方向包括知识图谱、大模型以及社会科学启发下的人工智能等。
肖仰华在演讲中表示,当前大模型技术实现过程中,数据消耗了极大人力资源与资本投入,所以大模型落地的本质仍然是数据工程,数据在整个大模型技术体系中处于一个核心的基础地位。
因此,如果大模型真的要走向千行百业,必须要解决“幻觉”问题,背后则需要运用合成数据、私域数据、个人数据、小模型、知识图谱等技术方法,或协同方案。
“实际上,现在所谓的千亿大模型可能存在极大‘水分’,大多数参数可能只是在编码琐碎而杂多的事实,与大模型的智商关系不大。所以,我们有没有可能在这1000亿模型基础之上将‘水分’挤掉,把无用的知识全部榨干,只留下100亿、10亿最关键的数据参数,它将决定大模型理性能力的关键。被挤掉的‘水分’知识完全可以放在外部文档系统里,通过RAG系统能够在应用时检索到即可。”肖仰华对钛媒体AGI表示。
他坦言,越来越多的人仍然是把精力花在找更多的数据而非质量,已经存在一些研究成果表明5%的优质指令数据有可能会比100%的一般指令取得更好的大模型微调效果,所以大众不应该能再盲目追求数量,而是要去想一想数据质量如何提升。
对于数据消耗,肖仰华详细分析了三个形成基于高质量数据的模型技术方案:合成数据、私域数据、个人数据。
首先是合成数据。互联网数据虽然消耗殆尽,但人类可以在这个数据基础之上合成更多的数据,可以在原始数据上不断思考、反思、关联、融合,产生更多的数据。合成数据是很重要的思路,不仅只是为了缓解数据用光的问题,而且合成数据大部分是人类思考过程的数据,实际上可能比现在已经获取的数据更多。通过合成数据把大量隐性、没有记录、没有表达、过程的偏重思维的数据表达出来,这种数据对激发大模型的智商,或者理性能力至关重要。现在大模型其实只有知性,没有理性,因此,合成数据就是提升理性能力非常重要的一个思路。使用模拟思考过程的合成数据训练大模型,它才能知道应该怎么去思考问题,而合成数据既是为了缓解数据的“饥荒”,也是为了提升大模型理性能力。
第二是私域数据。人类更多高质量、高价值的数据是在私域(垂直行业)当中,如果使用私域数据训练大模型,可能会让大模型变成行业专家。因此,用好私域数据是很关键的因素,数据有待挖掘的潜力仍然十分之大。
最后是个人数据。个人数据用于训练大模型才刚刚开始,包括苹果在内的很多手机终端厂商,下一步一定是用个人数据和大模型结合。因此,如何把个性大数据和大模型结合好,变成个性化大模型,为每个人提供服务,对此未来还有很长的路要走。
不过,肖仰华也认为,当前数据要素市场尚不健全,使得私域数据的汇聚和交易流通也是困难重重,挑战非常之多。同时,大模型对数据利用的“贪婪程度”,也影响了数据的存储、生产、加工、流通、消费各个环节的技术走向。
“模型的评估、数据的筛选和模型的训练三件事应该是‘三位一体’的,我们需要注重数据的用法。”肖仰华称。
在肖仰华看来,AI大模型技术发展至今,仍然还处在一个非常早期的时代,从原理和源头上还完全缺乏理论和方法,而且大模型参数量变大,并没有让它的智商和理性能力所有增长。
“Scaling Law很快就会见到天花板,或者说我们要重新去看待Scaling Law。并且,我们要从源头上去梳理这些问题,去激发大模型的核心认知能力,提升大模型的理性水平。”肖仰华表示。
不过,部分学者对于合成数据的前景也有一些怀疑和争议。
9月6日,OpenAI创始成员、AI+教育公司Eureka Labs创始人安德烈·卡帕蒂(Andrej Karpathy)在播客节目 No Priors节目中表示,Transformer 还远没到自己的极限,新的改进和创新主要集中在数据集方面。尽管使用合成数据对于创造下一代大模型有很大帮助,但合成数据往往多样性和丰富度不足。
安德烈·卡帕蒂也承认,当前数十亿级参数量的大模型存在很多无用信息,他认为与互联网数据本身有关,因为其可能是由 0.001% 的认知数据和 99.999% 的相似或无用信息构成的。而当前的模型浪费了大量容量来记忆无关紧要的事情,原因是数据集没有经过精细化的调整(curation)。而真正用于思考的认知核心(cognitive core)可以非常小,如果它需要查找信息,它会知道如何使用不同的工具。未来,未来当下一代模型发挥作用时,它们会出现不同的分工,比如程序员、产品经理等。
另一方面,肖仰华表示反对“机器取代人类”的这一观点,他认为技术的所有进步和发展还是要“以人为本”,没有人的文明是没有意义的。
“现在大模型就很擅长,可以很容易做到一段文字一字不错。事实上,文字偶尔出错无伤大雅,重要的不是文字有否错别字,而是文字背后是否是真知灼见。我们在太多无意义的细枝末节浪费太多精力,而对事关宏旨的本质却又轻松放过。以大模型为代表的AGI的到来,粉碎了人类无意义的事项,倒逼人类回归价值本原。”肖仰华称。
展望未来下一代万亿级参数的GPT模型,肖仰华指出,未来也许大家并不需要过多的数据,只需精炼即可。然而,在此之前,人类可能需要通过万卡训练和打造万亿模型,以此来探索智能的极限。但早期的那些千亿、万亿的大模型,可能存在很大的 “水分”。所以,人类必须先拥有 “水分” 充足的大模型,然后才有可能挤出这些 “水分”,从而获得一个小而精的模型。最后,基于这个小而精的基座模型进行微调与训练,在小规模集群或单机上完成微调工作。
肖仰华强调,这波生成式大模型的泡沫早晚会破,天花板一定会到来。首先,人类产生优质数据的过程是相对缓慢的,大家不可能每天都产生对于世界的重大新认识,优质数据的缓慢生产速度为成为大模型发展的天花板。其次,合成数据的质量控制仍存在不少技术挑战,且合成数据是基于原始真实数据推理而产生的,因此也会限制大模型获得本质新颖的知识与能力,也就是大模型会遭遇所谓的演绎闭包困难。最后,即便训练出来了参数规模是人脑的10倍、100倍的超级大模型,人类当下的智识水平可能限制我们去认识这样一个超级智能形态。这样一个可能的超级存在也就与人类无关。试想一下,如果蚂蚁文明举全体蚂蚁世界之力造出了人类水平的智能,那么这个相对于蚂蚁而言神一样的智能体一定是忙于探索星辰大海,去接近或实现一个更高的存在,而无暇去关照自己的造物主。
“AI 好比一个照妖镜,将人类社会一切没有价值的事情进行摧毁,倒逼大家去做真正有价值和有意义的事情。因此,AI 的未来发展倒逼所有行业回归价值本原,要让人类做真正有价值的事。”肖仰华表示。
(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)