日前，在備受矚目的2024中關(guān)村論壇年會未來人工智能先鋒論壇上，清華大學(xué)聯(lián)合生數(shù)科技正式發(fā)布了中國首個長時長、高一致性、高動態(tài)性視頻大模型——Vidu。這一重大成果的發(fā)布，標(biāo)志著中國在視頻大模型領(lǐng)域取得了重要進(jìn)展，為全球人工智能發(fā)展注入了新的活力。

Vidu視頻大模型是生數(shù)科技團(tuán)隊(duì)在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型領(lǐng)域的長期積累和多項(xiàng)原創(chuàng)性成果的結(jié)晶。其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于國際領(lǐng)先的Sora采用的DiT架構(gòu)，是全球首個Diffusion與Transformer融合的架構(gòu)。在短短兩個月的時間里，團(tuán)隊(duì)基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗(yàn)，進(jìn)一步突破了長視頻表示與處理的關(guān)鍵技術(shù)，成功研發(fā)出Vidu視頻大模型。

Vidu視頻大模型的性能全面對標(biāo)國際頂尖水平，并在加速迭代提升中。它能夠模擬真實(shí)的物理世界，擁有豐富的想象力，具備多鏡頭生成、時空一致性高等特點(diǎn)。在視頻效果方面，Vidu實(shí)現(xiàn)了顯著提升，能夠生成細(xì)節(jié)復(fù)雜、符合真實(shí)物理規(guī)律的場景，如合理的光影效果、細(xì)膩的人物表情等。同時，它還能生成真實(shí)世界不存在的虛構(gòu)畫面，創(chuàng)造出具有深度和復(fù)雜性的超現(xiàn)實(shí)主義內(nèi)容。

值得一提的是，Vidu視頻大模型在時長方面取得了重大突破。目前，國內(nèi)大多數(shù)視頻大模型生成的視頻時長大多在4秒左右，而Vidu能夠一次性生成長達(dá)16秒的高清視頻內(nèi)容，分辨率高達(dá)1080P。這一突破不僅展示了Vidu在視頻生成技術(shù)上的先進(jìn)性，也為其在各個領(lǐng)域的應(yīng)用提供了更廣闊的空間。

此外，Vidu視頻大模型還具備理解中國元素的能力。在生成的視頻中，能夠出現(xiàn)熊貓、龍等特有的中國元素，充分展現(xiàn)了其對中國文化的深入理解和運(yùn)用。這一特點(diǎn)使得Vidu在文化傳承、旅游推廣等領(lǐng)域具有獨(dú)特優(yōu)勢。

在論壇現(xiàn)場，清華大學(xué)人工智能研究院副院長、生數(shù)科技首席科學(xué)家朱軍展示了多段由Vidu生成的視頻。觀眾們紛紛表示，這些視頻不僅畫質(zhì)清晰、流暢，而且內(nèi)容豐富、有趣，充分展示了Vidu視頻大模型的強(qiáng)大實(shí)力和廣闊前景。

朱軍表示，Vidu的命名不僅諧音“Video”，也蘊(yùn)含“We do”的寓意。模型的突破是一個多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。他希望與產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加強(qiáng)合作，共同推動視頻大模型的發(fā)展，為人工智能領(lǐng)域注入更多創(chuàng)新活力。

國產(chǎn)視頻大模型能否成為下一個Sora？

在人工智能技術(shù)的浪潮中，視頻大模型領(lǐng)域正迎來前所未有的發(fā)展機(jī)遇。近日，清華大學(xué)聯(lián)合生數(shù)科技發(fā)布了國內(nèi)首個達(dá)到Sora級別的視頻大模型——Vidu，這一重要突破引發(fā)了業(yè)界的廣泛關(guān)注。那么，Vidu是否具備成為下一個Sora的潛力呢？

在視頻生成能力方面的表現(xiàn)，Vidu能夠一鍵生成長達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容，滿足了長視頻內(nèi)容的生成需求。官方宣傳資料中展示的“畫室中的一艘船駛向鏡頭”等場景，海浪、船的效果非常逼真，體現(xiàn)了Vidu強(qiáng)大的生成能力。這種能力使得Vidu在視頻創(chuàng)作領(lǐng)域具備了巨大的應(yīng)用潛力。

Vidu在復(fù)雜場景和角色生成能力方面也表現(xiàn)出色。它能夠生成包含多個角色、特定運(yùn)動類型以及主題精確、背景細(xì)節(jié)復(fù)雜的場景。生動的角色表情和復(fù)雜的運(yùn)鏡使得生成的視頻具有高度的逼真性和敘事效果。這種能力使得Vidu在動畫制作、電影預(yù)告片制作等領(lǐng)域具有廣泛的應(yīng)用前景。

此外，Vidu還具備深入的語言理解能力。它能夠準(zhǔn)確解釋用戶的提示并生成能表達(dá)豐富情感的角色。這使得模型能夠更好地理解用戶的文本指令，并在生成的視頻內(nèi)容中忠實(shí)地反映這些指令。這種能力為Vidu在內(nèi)容創(chuàng)作領(lǐng)域提供了更多的可能性。

在技術(shù)架構(gòu)方面，Vidu采用了全球首個Diffusion與Transformer融合的U-ViT架構(gòu)，這也是其實(shí)現(xiàn)高性能的關(guān)鍵所在。U-ViT架構(gòu)的融合使得Vidu在視頻生成過程中能夠更好地捕捉和理解視頻中的運(yùn)動和細(xì)節(jié)，從而生成更加真實(shí)和自然的視頻內(nèi)容。

然而，要成為下一個Sora，Vidu還需要在多個方面持續(xù)突破和創(chuàng)新。Vidu在視頻時長方面仍有提升空間。目前，Vidu生成的視頻時長為16秒，而Sora能夠生成長達(dá)一分鐘的視頻。隨著技術(shù)的不斷進(jìn)步，我們期待Vidu能夠在視頻時長上實(shí)現(xiàn)更大的突破。

Vidu還需要在應(yīng)用場景和商業(yè)模式上進(jìn)行拓展。目前，Vidu主要應(yīng)用于視頻創(chuàng)作和動畫制作等領(lǐng)域，未來可以進(jìn)一步拓展到廣告、教育、娛樂等多個領(lǐng)域。同時，Vidu還需要探索與產(chǎn)業(yè)鏈上下游企業(yè)的合作模式，共同推動視頻大模型的發(fā)展和應(yīng)用。

還需要關(guān)注Vidu在安全性和倫理方面的表現(xiàn)。隨著人工智能技術(shù)的廣泛應(yīng)用，如何確保生成內(nèi)容的真實(shí)性和合法性成為了一個重要的問題。Vidu需要在技術(shù)層面加強(qiáng)對生成內(nèi)容的審核和監(jiān)管，避免出現(xiàn)誤導(dǎo)性或違法違規(guī)的內(nèi)容。

綜上所述，Vidu視頻大模型在視頻生成能力、復(fù)雜場景和角色生成能力等方面表現(xiàn)出色，具備成為下一個Sora的潛力。然而，要成為行業(yè)領(lǐng)導(dǎo)者，Vidu還需要在視頻時長、應(yīng)用場景和商業(yè)模式等方面持續(xù)突破和創(chuàng)新，并加強(qiáng)安全性和倫理方面的監(jiān)管。

視頻大模型將引領(lǐng)人工智能新紀(jì)元

隨著人工智能技術(shù)的迅猛發(fā)展，視頻大模型作為新興領(lǐng)域正展現(xiàn)出巨大的發(fā)展?jié)摿Α＝�日，國�?nèi)外多家研究機(jī)構(gòu)和企業(yè)紛紛發(fā)布了一系列創(chuàng)新成果，預(yù)示著視頻大模型將在未來引領(lǐng)新一輪AI技術(shù)創(chuàng)新浪潮。

視頻大模型是指能夠處理大規(guī)模視頻數(shù)據(jù)的深度學(xué)習(xí)模型。它通過學(xué)習(xí)和理解視頻中的圖像、音頻、文本等多模態(tài)信息，實(shí)現(xiàn)對視頻內(nèi)容的智能分析和生成。這種技術(shù)不僅能夠提升視頻處理的效率和準(zhǔn)確性，還能夠?yàn)橛耙曋谱�、廣告宣傳、虛擬現(xiàn)實(shí)等多個領(lǐng)域帶來革命性的變革。

視頻大模型在影視制作領(lǐng)域具有廣闊的應(yīng)用前景。傳統(tǒng)的影視制作需要耗費(fèi)大量的人力和時間，而視頻大模型可以通過自動化生成高質(zhì)量的視頻內(nèi)容，大大縮短制作周期并降低成本。同時，視頻大模型還能夠根據(jù)導(dǎo)演或編劇的創(chuàng)意需求，生成具有個性和創(chuàng)意的視頻片段，為影視創(chuàng)作提供更多可能性。

其次，視頻大模型在廣告宣傳領(lǐng)域也具有巨大的商業(yè)價值。傳統(tǒng)的廣告宣傳方式往往受到制作成本和時間限制，而視頻大模型可以快速生成多種風(fēng)格和主題的視頻廣告，滿足不同客戶的需求。此外，視頻大模型還可以根據(jù)用戶的興趣和行為數(shù)據(jù)，實(shí)現(xiàn)精準(zhǔn)投放和個性化推薦，提高廣告的轉(zhuǎn)化率和效果。

除了影視制作和廣告宣傳領(lǐng)域，視頻大模型在虛擬現(xiàn)實(shí)、在線教育、游戲娛樂等多個領(lǐng)域也有著廣泛的應(yīng)用前景。例如，在虛擬現(xiàn)實(shí)領(lǐng)域，視頻大模型可以生成逼真的虛擬場景和角色，為用戶提供沉浸式的體驗(yàn)；在在線教育領(lǐng)域，視頻大模型可以幫助學(xué)生更好地理解和掌握知識點(diǎn)，提高學(xué)習(xí)效果；在游戲娛樂領(lǐng)域，視頻大模型可以生成豐富多樣的游戲場景和角色，提升游戲的趣味性和吸引力。

然而，要實(shí)現(xiàn)視頻大模型的廣泛應(yīng)用和商業(yè)化落地，還需要克服一系列技術(shù)挑戰(zhàn)。首先，視頻大模型需要處理大規(guī)模的視頻數(shù)據(jù)，對計算資源和存儲能力提出了更高的要求。其次，視頻內(nèi)容的復(fù)雜性和多樣性使得模型的訓(xùn)練和優(yōu)化變得更加困難。此外，還需要解決視頻大模型在隱私保護(hù)、數(shù)據(jù)安全等方面的問題，確保技術(shù)的合規(guī)性和可持續(xù)發(fā)展。

盡管面臨諸多挑戰(zhàn)，但視頻大模型的發(fā)展前景依然十分廣闊。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，視頻大模型將在未來發(fā)揮更加重要的作用，也期待看到更多創(chuàng)新性的視頻大模型應(yīng)用涌現(xiàn)出來，為人類生活帶來更多便利和樂趣。

       原文標(biāo)題 : 國產(chǎn)視頻大模型真的來了，實(shí)現(xiàn)一次生成16秒高清視頻