Amodei以光伏行業爲例，認爲即使一個技術在市場上變得非常重要並廣泛應用，它可能仍然很難爲單個公司帶來高額利潤，高度商業化會限制公司的盈利能力。和光伏行業相似的是，AI技術的市場規模可能也非常龐大，但是從中獲利的難度可能也很高，不同參與者之間的利潤分配問題也十分複雜。
本週， 「AI獨角獸」Anthropic首席執行官兼聯合創始人Dario Amodei參與了訪談，對AI行業的發展、Scaling Law（規模定律）等進行了探討。
Scaling Law（規模定律）主要指的是隨着數據和計算能力的增加，模型的能力也會增強。Amodei認爲如果這一規律繼續成立，那麼AI將有可能變得非常強大，帶來新的商業模式和技術創新。
然而，他也強調稱這一定律並非永遠適用，如果在某些方面模型的性能無法進一步提升，整個AI行業可能都會受到影響。
Amodei還重點將AI行業與光伏行業進行了對比。他用光伏行業的例子來說明，即使一個技術在市場上變得非常重要並廣泛應用，它可能仍然很難爲單個公司帶來高額利潤。
雖然光伏技術幾乎撼動了整個能源產業，但其市場高度商品化，競爭激烈，缺乏顯著的品牌效應，因此各公司的盈利能力都受到一定限制。
和光伏行業相似的是，AI技術的市場規模可能也非常龐大，但是從中獲利的難度可能也很高。AI的盈利模式可能會受到多個因素的影響，如模型的計算成本、推理成本等，硬件提供商、模型開發者和應用層之間的利潤分配也相當複雜，面臨不小的挑戰。
談話要點如下：
1.要將Scaling Law（規模定律）與商業問題完全分開討論是有些困難的。
2.在市場如此龐大的情況下，我的初步回答是，收益會流向所有這些地方。
3.如果Scaling Law（規模定律）是正確的，那麼這將是一個非常巨大的市場。即使只有10%的利潤流向供應鏈的某個部分，它仍然是非常巨大的。
4.如果我們在構建擁有百億或千億參數的模型，可能不會有超過四五個實體（也許還有一些國有企業）參與其中。所以我們看到的可能是更像寡頭壟斷而不是完全壟斷或完全商品化。
5.即使發佈了這樣的模型，這種大模型在推理上的運行成本非常高，大部分成本在推理而不是模型訓練上。如果你有更好的推理方法，即使只有10%、20%或30%的改進，也能產生很大的影響。
6.我們有更大、更強大的模型和更快、更便宜、更不智能的模型，一些客戶發現大型模型可以分配任務給大量小型模型，然後彙報給大型模型，像蜂群一樣完成任務。
7.沒有人應該相信Scaling Law（規模定律）會永遠繼續，這只是一個經驗觀察，可能隨時停止。我觀察了十年，我猜它們不會停止的依據只是基於觀察時間的長短，這只是一個60-40或70-30的命題。
8.如果我們能夠正確使用AI，它可以將我們發明這些發現的速度提高10倍，也許100倍。
訪談全文如下，部分內容有刪減：
Google沒能成爲人工智能時代的貝爾實驗室
Noah Smith：
在這個經濟學播客中，我們更喜歡談論經濟學方面的內容，而不是純技術方面的內容。那麼，Google是人工智能時代的貝爾實驗室嗎？
他們做出了現代深度學習和Transformers等的研究，但他們並沒有真正成功地商業化，就像貝爾實驗室一樣。他們用壟斷資金資助了這些研究，然後你這樣有趣的人在那裏工作，之後離開創辦公司，就像貝爾實驗室的Fairchild公司的人一樣。你覺得這是一個恰當的比喻嗎？
Dario Amodei:
雖然沒有什麼是完美的類比，但我肯定認爲這其中有一些道理。很多人將其視爲學術生涯的延續，這與貝爾實驗室的工業環境非常相似，只是谷歌擁有更多的資源來實現目標。因此，人們在研究許多項目。Transformer是推動這一領域的關鍵發明之一，這只是大約一百個正在研究的項目之一。
如果你在組織的高層，你將無法合理區分它和其他99個正在研發的項目。這就像百花齊放，彼此競爭。我想就是在那個時候，我首次提出了Scaling Law（規模定律），我們需要將這些創新大規模擴展並整合起來。
理論上，谷歌是最適合這樣做的地方，他們擁有世界上最大的集群，擁有大量有才華的工程師，具備所有的必要元素。然而，谷歌的組織架構是爲了搜索服務，我不認爲它必然是爲了將所有這些部分結合起來並大規模擴展出一些與之前業務完全不同的東西。
Noah Smith：
就像貝爾實驗室不是爲了發明計算機並讓每個人都有一臺計算機而設立的，它是爲了接線每個人。
Dario Amodei：
沒錯，它是一家電話公司。所以，我不能代表谷歌發言，但顯然現在他們除了發明所有這些驚人的東西之外，他們也是擁有前沿模型的四大公司之一，既是我們的合作伙伴，也是我們的競爭對手。我認識那裏的很多人，他們非常聰明。
但我認爲你是對的，有一段時間如果他們能夠以正確的方式將這些元素結合起來，他們可能會成爲唯一的主導者。但無論出於什麼原因，事情沒有朝那個方向發展。
Scaling Law（規模定律）：隨着數據規模增大，模型的能力越強
Noah Smith：
這引出了我們正在思考的另一個問題。實際上，我們與您對話的想法來自於我們在另一個播客中討論的內容，當時我們主要在談論互聯網業務的經濟學，然後有人提出了一些對AI業務的悲觀看法，質疑AI公司到底有多少經濟護城河（Economic moats）。
顯然，這與Anthropic公司和其他我們稱爲初創公司的公司密切相關，但它們已經相當大了。所以，請告訴我們您對AI公司經濟護城河的看法。
Dario Amodei：
我會說我要把這個問題稍微分成兩個分支。我認爲，要將Scaling Law（規模定律）與商業問題完全分開討論是有些困難的。所以，我們來考慮一下在某種非常強的形式下Scaling Law（規模定律）成立的情況，然後再考慮它可能部分成立或完全不成立的情形。如果在非常強的形式下成立，情況是這樣的：
現在你訓練了一個擁有一億參數的模型，它的能力相當於一個優秀的大學一年級生；
接着你訓練了一個擁有十億參數的模型，它的能力相當於一個優秀的本科生；
你訓練了一個擁有百億參數的模型，它的能力相當於一個頂尖的研究生；
當你訓練到一個擁有千億參數的模型時，它的能力相當於一個諾貝爾獎得主。
然後你就把這個模型投入使用，基本上爲每個人服務，它會成爲你的同事，成爲你的個人助理，幫助國家安全，幫助生物學研究。
我認爲在那樣的世界裏，這個系統和基於該系統的產品將在經濟中佔據很大份額。仍然存在一個問題，那就是收益會流向哪裏？是流向英偉達一方，還是流向人工智能公司，抑或是流向下游應用？在市場如此龐大的情況下，我的初步回答是，收益會流向所有這些地方。
AI的未來將類似光伏行業
Noah Smith：
但想想太陽能，太陽能顯然會變得非常重要。我們需要的能源越多，太陽能的應用就會越廣泛。然而，很難說出哪家太陽能公司賺了很多利潤。太陽能是一種非常商品化的產品，儘管其中有很多創新，但沒有品牌效應，沒有網絡效應，也沒有任何鎖定效應，任何一家太陽能公司都很難在這件事上賺到利潤，而這件事正在我們眼前徹底改變整個世界。
因此，我不完全確定是否僅僅因爲一切都會像現在的太陽能一樣蓬勃發展，就一定會導致公司獲得利潤。不過，我當然也開放這種可能性。我只是想知道，你認爲來源是什麼？爲什麼人工智能的發展不同？
Dario Amodei：
太陽能？我認爲這裏有兩點，因爲我認爲這在大多數世界中都是一個重要的問題。也許我只是想說，如果Scaling Law（規模定律）是正確的，那麼這將是一個非常巨大的市場。即使只有10%的利潤流向供應鏈的某個部分，它仍然是非常巨大的。
就像你把「蛋糕」做大了一樣，這成爲了最有趣的問題，儘管那些決定如何分配美元鈔票的人肯定會非常關心一萬億流向哪裏。但讓我們回到你的問題，因爲我認爲它在全世界都很重要。問題的關鍵在於你正在分配的「蛋糕」有多大。
首先，在模型方面，這取決於Scaling Law（規模定律）。如果我們在構建擁有百億或千億參數的模型，可能不會有超過四五個實體（也許還有一些國有企業）參與其中。所以我們看到的可能是更像寡頭壟斷而不是完全壟斷或完全商品化。
我想這有一個問題是，是否會有人發佈一個擁有十億或百億參數的開源模型？我對此持懷疑態度，即使發佈了這樣的模型，這種大模型在推理上的運行成本非常高，大部分成本在推理而不是模型訓練上。如果你有更好的推理方法，即使只有10%、20%或30%的改進，也能產生很大的影響。經濟學上有點奇怪，這是一個巨大的固定成本，你必須攤銷，但也有推理的單位成本，在這個假設下，部署得足夠廣泛的話，差異會很大。我不確定這一點會如何發展。
Noah Smith：
這實際上類似於重工業的經濟學，比如製造鋼鐵的方式。
Dario Amodei：
是的，有一點。有趣的是，我想說的另一件事是，在這些模型中，我們已經開始看到模型具有不同的個性。因此，商品化是一種可能性，但即使在寡頭壟斷中，某些模型的部署方式也可能會被商品化，儘管我不確定。
但一種反對這種觀點的力量是：嘿，我做了一個擅長編程的模型，你做了一個擅長創意寫作的模型，第三個人做了一個擅長娛樂的模型。這些是選擇，一旦你開始做出這些選擇，你就開始圍繞它們建立基礎設施，這似乎爲某種程度的差異化創造了前提條件。
另一個可能導致差異化的是基於模型構建的產品。理論上你可以將模型層與產品層分開，實際上它們是相互關聯的，跨組織工作可能具有一定挑戰性。因此，雖然在模型方面有一個共同的邏輯，許多公司都在同一個方向前進，增加多模態功能，使模型更智能，使推理更快，但產品是如此不同。
如果你看看我們做的這個「Artifacts」項目，它是一種實時可視化模型編寫代碼的方式。我們這樣做，OpenAI有他們自己的做法，Google也有他們的做法。我認爲這也是公司之間差異化的來源之一。
我們已經發現，基於模型銷售應用程序的經濟學，即使是相對較薄的應用程序，也在變得越來越厚。
Erik Torenberg：
如果Scaling Law（規模定律）成立，事情變得像我們認爲的那樣大，你是否預計這些公司會在某個時候被國有化？或者你怎麼認爲？
Dario Amodei：
我們可以分成兩種情況：一種是Scaling Law（規模定律）是正確的，另一種是Scaling Law（規模定律）是錯誤的。如果它是錯誤的，那麼這只是一項技術，像互聯網或太陽能一樣，可能比大多數技術都重要，但不是前所未有的。基於目前的發展情況，我不認爲它會被國有化。
如果它是正確的，我們正在構建的模型像諾貝爾獎得主那樣優秀的生物學家和頂級的行業編碼人員甚至更好。我不確定是否會真的國有化，我們會非常關心對手是否能夠跟上我們，或者我們是否能夠像對手一樣快地部署它們。
Scaling Law（規模定律）影響AI創造新的商業模式
Noah Smith：
我有一個關於人工智能對商業模式影響的問題。你知道電力的故事，基本上一開始當他們得到電力時，製造商試圖拆除他們的蒸汽發電機，發電機有損耗。而後來有人發現可以並行運行電力到多個工作站，這改變了製造業的工作方式，而不是一個大裝配線轉變爲多個小工作站進行工作，這在幾十年裏帶來了巨大的生產力提升。
我一直懷疑AI是類似的。我認爲互聯網也類似，AI相似之處在於，起初每個人似乎都在想AI是一個人。有人實際上把AI的數量與人類員工的數量進行比較，這對我來說沒有意義，因爲它不能分割成個體。
你可以做一個基於代理的系統來模仿這種方式，但爲什麼呢？我看到每個人都在考慮AI直接替代人類，而我的論點是這是第一階段，就像電力直接替代蒸汽鍋爐不是個好主意一樣。 我認爲人們會有點失望，因爲只有少數情況下這種直接替代人類的方式有效，比如客戶服務和一些其他定義明確的事情。
但我認爲只有少數情況下這種直接替代人類的方式有效，然後我們會經歷Gartner炒作週期的破滅。
一些創造性的企業家會說，我們不只是用人工智能作爲人類替代，而是用它來創造新的商業模式。然後我們會看到一個復興的繁榮期，這是我的預測。我的Gartner式預測，我瘋了嗎？
Dario Amodei：
所以我認爲這是我同意的一些事情和我可能不同意的一些事情的混合。首先，我基本同意，如果你凍結當前模型的質量，你所說的都是正確的。我們在商業活動中基本上觀察到類似的事情。我們提供可以與之對話的模型，但也通過API向許多客戶出售模型。人們花了很長時間來弄清楚如何最好地使用模型。
關於模型可靠性的問題很多，我認爲這是一些擔憂的原因，比如一個模型95%的時間給出正確答案，但5%時間內沒有給出正確答案，這如何檢測這些情況以及如何處理錯誤處理非常重要。這與理論上有用和實際上有用是非常不同的。
我們早期有一個功能可以讓模型寫一些代碼，然後你可以將代碼粘貼到編譯器或解釋器中來製作JavaScript視頻遊戲，出現問題時你可以回到模型並進行修正。我們也看到大型模型協調小型模型，這與將模型看作一個人的想法非常不同。
我們有更大、更強大的模型和更快、更便宜、更不智能的模型，一些客戶發現大型模型可以分配任務給大量小型模型，然後彙報給大型模型，像蜂群一樣完成任務。
我們還在探索使用模型的最佳方式，模型變得越來越智能，解決這些問題的能力也越來越強。所以這最終回到了Scaling Law（規模定律）是否會繼續。如果它們繼續，這將是一個你描述的過程。如果它們停止，創新也會停止，你描述的過程會結束。
沒有人應該相信Scaling Law（規模定律）會永遠繼續，這只是一個經驗觀察，可能隨時停止。我觀察了十年，我猜它們不會停止的依據只是基於觀察時間的長短，這只是一個60-40或70-30的命題。
Erik Torenberg:
什麼會改變你的看法？什麼會改變你在那裏的勝算？
Dario Amodei：
我認爲，首先，如果我們只是訓練一個模型，然後嘗試下一個規模的模型，但效果非常糟糕。我們嘗試了幾次解決問題，但仍然沒有成功，我會覺得，哦，我猜這個趨勢正在停止。
如果在數據用盡方面出現問題，我們無法生成足夠的合成數據來繼續這個過程，那在某個時刻我會說，嘿，這實際上看起來很難，至少這個趨勢會暫停，可能會停，但可能不會停。我仍然猜測這些事情不會發生，但你知道，這是一個非常複雜的問題。
AI可將生物學的發現速度提高100倍，壓縮世紀進步時間
Noah Smith：
如果AI資源的瓶頸更多在於計算能力而不是能源，那麼我們在利用AI方面會有更多的比較優勢,你基本同意這個觀點嗎？
Dario Amodei：
是的，我認爲這有道理。你的意思是，使用一個有點荒謬的比喻，如果AI像賽博人那樣，製造和培育它們的過程非常類似於人類，那麼我們就麻煩了。但如果它只是某個地方的服務器集群，輸入完全不同，那麼我們就沒問題。
我還沒有深入思考過這個問題，但乍一聽似乎很有道理。 如果我們處在一個AI重塑世界的情況下，經濟結構已經發生了變化，那麼我們可能在討論一些不同的東西。但是，如果經濟學的常規規則仍然適用，我認爲它們在一段時間內會適用，那麼這聽起來非常合理。
Noah Smith：
但我的另一個問題是，是否有必要考慮一個極端豐富的世界？AI如此強大，以至於它爲我們提供了驚人的生物學和製造業，讓我們想要的一切都變得好十倍、百倍等等。
Dario Amodei：
我認爲我們真的低估了人工智能在生物學中的潛力。十年前，當我在這個領域時，態度是，我們從生物學中獲得的數據質量存疑，我們能獲得的數據量有限，實驗往往受到干擾。當然，更多的數據分析、大數據和人工智能是很好的，但最多也只是輔助角色。也許隨着Alpha Fold的出現，這種情況有所改變。
但我的看法是，AI模型可以充當生物學家或共同生物學家的角色。如果我們考慮真正高級的生物學，就像它真的不成比例地有幾種技術爲一切提供動力。例如，基因組測序，就是讀取基因組的能力，這是現代生物學的基礎。最近的CRISPR技術，就是編輯基因組的能力。如果我們能夠正確使用AI，它可以將我們發明這些發現的速度提高10倍，也許100倍。
以CRISPR爲例，它的組裝來自細菌免疫系統，它花了30年才發明出來。我認爲，如果我們能夠大大提高這些發現的速度，我們也將大大提高治癒疾病的速度。
我的想法是，我們是否可以壓縮21世紀的進展？我們是否可以在21世紀利用AI加速10倍的情況下取得所有的生物學進展？如果你想到我們在20世紀生物學上取得的所有進展，然後將其壓縮到五到十年內，對我來說，這就是好的一面。我認爲這可能是真的。我們可以治癒困擾我們千年的疾病，這當然會極大地提高生產力，擴大經濟蛋糕，延長人類壽命。
編輯/ping