年初，“文生视频”模型Sora的出现，掀起了全球竞逐AI视频生成的热潮；近10个月过去，Sora迟迟没有对外开放，而作为后来者的腾讯混元，抢先加入了这一战场。來源：華爾街見聞
作者：黃昱
仍在探索初期。
年初，「文生視頻」模型Sora的出現，掀起了全球競逐AI視頻生成的熱潮；近10個月過去，Sora遲遲沒有對外開放，而作爲後來者的騰訊混元，搶先加入了這一戰場。
12月3日， $騰訊控股 (00700.HK)$ 混元大模型正式上線視頻生成能力，C端用戶通過騰訊元寶APP就可申請試用，企業客戶通過騰訊雲提供服務接入，目前API同步開放內測申請。
把文生視頻擺上牌桌，這是繼文生文、文生圖、3D生成之後，騰訊混元大模型的又一新里程碑。與此同時，騰訊開源該視頻生成大模型，參數量130億，是當前最大的視頻開源模型。
據華爾街見聞了解，騰訊混元的視頻生成幾乎沒有門檻，用戶只需要輸入一段文字描述，騰訊混元生成視頻大模型就可以生成一段五秒的視頻。
相較於Sora分鐘級別以及一些「類Sora」產品10s的視頻生成時長，騰訊混元的視頻生成時長不太讓人振奮。
在當日的媒體溝通會上，騰訊混元多模態生成技術負責人表示，視頻時長不是技術問題，而是純算力和數據問題，因爲時間擴長一倍，它的算力是一個平方級的上升，所以不是很划算。
此外，他指出，大部分人用視頻的情況下都是一個鏡頭接一個鏡頭，所以混元視頻生成模型第一版先放5s時長的出來，優先滿足大部分的需求。「未來如果大家有很多強烈需求，要做很長的一鏡到底，我們再去做升級。」
騰訊混元生成視頻目前主要呈現四大特點：寫實畫質、語義遵從、動態流暢、原生轉場。
在技術路線上，騰訊混元視頻生成模型選擇了跟Sora類似的DiT架構，並在架構設計上進行多處升級，包括引入多模態大語言模型作爲文本編碼器、基於自研Scaling Law的全注意力DiT、自研3D VAE等。
騰訊混元多模態生成技術負責人指出，混元算是業內首個或者特別少數拿多模態大語言模型來做文本編碼器的視頻生成模型。業界現在更多還是選用T5模型和CLIP模型作爲文本編碼器。
之所以這樣選擇，是因爲騰訊混元是看中了這條技術路線的三大優點，包括增強複雜文本的理解能力、原生圖文對齊能力以及支持系統提示詞。
此外，騰訊混元多模態生成技術負責人提到，在做GPT之前，OpenAI花了很多心思去驗證Scaling Law（用更多的數據訓練更大的模型）在語言模型中的有效性，但在視頻生成領域學術界或業界沒有把Scaling Law是否有效公開出來。
在此背景下，騰訊混元團隊自己把圖像、視頻生成的Scaling Law驗證了一邊，最終得出結論，圖像DiT有，視頻基於圖像DiT做二階段的訓練一樣是有Scaling Law的性質在的。
「所以我們首版騰訊混元視頻生成模型是基於這套比較嚴格的Scaling Law的推論，做了一個130億的模型。」騰訊混元多模態生成技術負責人說道。
與此同時，騰訊混元也在疾行視頻生成生態模型的探索，包括圖生視頻模型、視頻配音模型、驅動2D照片數字人等。
騰訊混元多模態生成技術負責人指出，相較於文生視頻，圖生視頻模型在可用性的推進上進展會更快，可能在不到一個月之內混元會發布最新進展。
自去兩年前ChatGPT掀起的AI大模型熱潮以來，大語言模型技術路徑已收斂，而視頻生成模型仍處於探索期。
東方證券分析師指出，在OpenAI的技術方向引領下，目前語言模型的技術路徑基本就是GPT這一條路。而多模態技術方面，目前沒有一家公司處於絕對領先地位，技術路徑仍存在探索的可能。
騰訊混元多模態生成技術負責人也表示，文生視頻整體都處於不太成熟的階段，綜合合格率都不高。
作爲多模態生成中難度最大的領域，視頻生成對算力、數據等資源要求較高，目前相較於文本、圖像成熟度更低，同時面臨商業化、產品化進展較慢的挑戰。
OpenAI也宣佈由於算力短缺而推遲Sora的更新，導致至今尚未對外開放。
儘管如此，爲了更快搶佔市場，去年十一月以來，視頻生成領域的成果密集落地。
截至目前，國內外不少大模型廠商都實現了類Sora產品落地，包括國內MiniMax、智譜、字節、快手、愛詩科技等，海外Runway、Pika、Luma。不過，由於算力和技術等因素，視頻生成時長一般在10s以內。
爲了推進商業化，大模型廠商必須找到更多視頻生成的應用場景。這次，騰訊給出的思路是：混元視頻生成模型畫面具備高質感，可用於工業級商業場景例如廣告宣傳、動畫製作、創意視頻生成等場景。
視頻AI是多模態領域的最後一環，也是更容易催生爆款應用的領域，但如何在算力投入與商業化之間缺的平衡，依然是目前「類Sora」的視頻生成模型們必須解決的一大難題。
編輯/Rocky