近日，马斯克在社交平台X上的一场直播对话中表示，來源：華爾街見聞
包括微軟、Meta、OpenAI、Anthropic等在內的科技巨頭已經開始使用合成數據來訓練AI模型了。據信息技術研究和顧問公司Gartner估計，2024年用於AI訓練和分析項目的數據中，有60%是合成的。
人工智能訓練數據耗盡了怎麼辦？
近日，馬斯克在社交平台X上的一場直播對話中表示，人工智能訓練數據已經耗盡：
「我們基本上已經用盡了人類知識的累積總和來進行AI訓練，這種情況大約在去年就已經發生了。」
馬斯克的觀點與前OpenAI首席科學家Ilya Sutskever不謀而合。去年12月，Sutskever在機器學習會議NeurIPS上表示，AI行業已經達到了他所謂的「數據峯值」，訓練數據的缺乏將迫使AI模型的開發方式發生轉變。
不過，面對數據耗盡的困境，馬斯克提出了一個可能的解決方案：
“唯一的補充方法是使用合成數據，即由AI模型自己生成的數據。通過合成數據，AI將對自身進行評分，並經歷一個自學習的過程。”
事實上，包括微軟、Meta、OpenAI、Anthropic等在內的科技巨頭已經開始使用合成數據來訓練AI模型了。據信息技術研究和顧問公司Gartner估計，2024年用於AI訓練和分析項目的數據中，有60%是合成的。
微軟最近開源的Phi-4模型就是使用合成數據和真實世界數據共同訓練的。谷歌的Gemma模型、Anthropic的Claude 3.5 Sonnet系統以及Meta最新的Llama系列模型也都採用了類似的方法。
分析師表示，使用合成數據進行訓練還能夠節約成本。AI初創公司Writer聲稱，其幾乎完全使用合成數據源開發的Palmyra X 004模型僅花費了70萬美元，而相比之下，OpenAI同等規模模型的開發成本估計爲460萬美元。
不過需要注意的是，使用合成數據也存在一些潛在風險。一些研究表明，合成數據可能導致模型崩潰，即模型的輸出變得不夠「創新」，反而更加偏頗，最終嚴重影響模型的功能。由於合成數據是由模型生成的，如果用於訓練這些模型的數據本身存在偏見和侷限性，那麼它們的輸出也會受到同樣的影響。
編輯/jayden
