太平洋科技要聞

首頁(yè) > 科技要聞 > 科技> 正文

快手可靈終于用上了，我們和國(guó)內(nèi)首部 AIGC 奇幻短劇導(dǎo)演聊了聊：AI 視頻不再是動(dòng)態(tài) PPT

appso 整合編輯：太平洋科技發(fā)布于：2024-07-10 15:31

最近，AI 生成視頻以意想不到的方式刷屏國(guó)內(nèi)外的社交媒體：「復(fù)活」名畫、爆改表情包、「修復(fù)」老照片......

多半離不開一個(gè)國(guó)產(chǎn) AI——快手旗下的可靈。

前兩天，可靈又進(jìn)行了一次重磅更新，不僅有了網(wǎng)頁(yè)版，還有了更多可控的新功能。

剛結(jié)束不久的上海世界人工智能大會(huì)上，快手提到：可靈超 50 萬(wàn)人申請(qǐng)，已開放給超 30 萬(wàn)用戶使用。

國(guó)內(nèi)用戶等通過，海外網(wǎng)友也在評(píng)論區(qū)追問：什么時(shí)候支持英語(yǔ)？什么時(shí)候支持其他國(guó)家的電話號(hào)碼？什么時(shí)候給我訪問權(quán)限？

而我們想問的是，除了「表情包神器」，可靈還能是什么？

「表情包神器」網(wǎng)頁(yè)版上新！更可控、更高清、更好玩

先來看看可靈的具體更新細(xì)節(jié)。

7 月 6 日，可靈上線了網(wǎng)頁(yè)版，同時(shí)支持文生視頻和圖生視頻，并帶來了更多新功能：高表現(xiàn)模式、首尾幀控制、運(yùn)鏡控制、更長(zhǎng)的單次視頻生成時(shí)長(zhǎng)。

高表現(xiàn)模式，比起高性能模式，畫面質(zhì)量更佳，不過每天只能生成 3 次。

高表現(xiàn)模式生成的視頻，甚至可以比原圖更高清。

當(dāng)我們上傳「強(qiáng)顏歡笑老爺爺」表情包，輸入提示詞「老爺爺拿起杯子喝茶」，選擇高表現(xiàn)模式，AI 不僅讓老爺爺喝上了茶，人的清晰度也從 360P 到 480P 了。

然后到首尾幀控制，可以理解為，上傳兩張圖，AI 補(bǔ)全中間的運(yùn)動(dòng)過程。

我們選擇了兩張高司令的劇照，一張出自《芭比》，一張出自《愛樂之城》，風(fēng)格相差較大，但主體是同一個(gè)人，且構(gòu)圖類似，沒給提示詞，全憑 AI 發(fā)揮創(chuàng)意，怎么把這兩張圖聯(lián)系起來。

結(jié)果，AI 理解的方式和我們不一樣，轉(zhuǎn)場(chǎng)不是根據(jù)人，而是根據(jù)場(chǎng)景來的，給《芭比》的圖片補(bǔ)充了類似《愛樂之城》的背景植物，兩個(gè)高司令的表情也做了過渡。

這個(gè)一秒變臉真的很好笑！

接下來是運(yùn)鏡控制，用戶可以指定水平、垂直、拉遠(yuǎn)、推進(jìn)等運(yùn)動(dòng)方式，但只在文生視頻時(shí)可選擇。

我們采取了控制變量法，使用的基本提示詞如下：「一個(gè)身穿紅色連衣裙、戴墨鏡的短發(fā)女人，正走在東京夜晚的街道上。鏡頭從地面開始，逐漸上移，聚焦到她的面部。」

只用提示詞，沒有設(shè)置運(yùn)鏡，鏡頭上移的感覺不太明顯。

沒有設(shè)置運(yùn)鏡

相同的提示詞，再加上運(yùn)鏡方式里的「大師運(yùn)鏡：推進(jìn)上移」，運(yùn)鏡是更好了，但顧此失彼，人體也更怪異了，而且沒有符合提示詞里的「走」。

設(shè)置了推進(jìn)上移運(yùn)鏡

至于更長(zhǎng)的單次視頻時(shí)長(zhǎng)，就比較好理解了，從 5 秒延長(zhǎng)到了 10 秒，可以再結(jié)合視頻延長(zhǎng)功能使用。

好消息是，只要有體驗(yàn)資格，所有功能限時(shí)免費(fèi)。

壞消息是，有些功能無法兼顧，比如，圖生視頻暫不支持運(yùn)鏡控制和生成 10 秒，高性能模式暫不支持生成 10 秒，生成 10 秒時(shí)暫不支持運(yùn)鏡控制......

但總體來說，可靈有了網(wǎng)頁(yè)端之后，創(chuàng)作變得更方便了，功能也比 app 更多了。如果是在手機(jī)上，暫不支持首尾幀控制和運(yùn)鏡控制。

可以看出，快手做 AI 的方向很明確，不像 Sora 那樣拿 Demo 畫餅，讓大眾用起來，找到 AI 與生活的結(jié)合點(diǎn)，才是更有溫度也更落地的。接下來，又可以期待一波船新的爆改表情包。

AI 短劇導(dǎo)演：AI 視頻不再是動(dòng)態(tài) PPT 了

「好玩」「生成速度比較快」，是普通用戶對(duì)于可靈的第一印象。

但對(duì)于專業(yè)的人來說，可靈是實(shí)用的創(chuàng)作工具嗎？為了聽到行業(yè)內(nèi)部的聲音，我們找到了一位 AI 創(chuàng)作者：閑人一坤。

他身上兼具兩個(gè)身份。

20 多年前，他入行傳統(tǒng)影視行業(yè)，擔(dān)任過《這就是街舞》總監(jiān)制、《跨界冰雪王》執(zhí)行總導(dǎo)演。

從 2023 年下半年開始，他成為狂熱的 AI 玩家，是 PixVerse、Runway、Pika 超級(jí)合作者，也是最早使用可靈的一批人。

他的團(tuán)隊(duì)和可靈合作的國(guó)內(nèi)首部 AIGC 原創(chuàng)奇幻短劇《山海奇鏡之劈波斬浪》，以《山海經(jīng)》為藍(lán)本，7 月 6 日發(fā)布了預(yù)告片，正片也即將發(fā)布。

在這個(gè)等待開花結(jié)果的時(shí)間點(diǎn)，我們和他聊了聊，關(guān)于 AI 短劇的創(chuàng)作過程、AI 影視制作和傳統(tǒng)影視制作的區(qū)別，以及那些人類無法被 AI 替代的地方。

Q：為什么選擇用 AI 制作玄幻題材？

A：AI 影視在發(fā)展的前期，能和傳統(tǒng)影視 PK 的地方，一定是傳統(tǒng)影視當(dāng)中的痛點(diǎn)。我認(rèn)為兩個(gè)賽道有痛點(diǎn)，一個(gè)是玄幻，一個(gè)是科幻，都需要大量的資金投入和后期制作。AI 可以把這兩個(gè)方面都縮減。

如果說，AI 縮短了 2/3 的制作周期，成本縮減到原來的 1/4，達(dá)到原來效果的百分之七八十，那么它就會(huì)變成一個(gè)可選項(xiàng)。但我拿 AI 做類似《人世間》的作品，就是用 AI 影視的短板挑戰(zhàn)傳統(tǒng)影視的長(zhǎng)板。

為什么我沒選科幻？科幻仍然需要一定的理解成本，但哪怕是農(nóng)村的老人，你和他說孫悟空是從石頭里蹦出來的，他也會(huì)很欣然地認(rèn)同。玄幻根植在我們文化的基因當(dāng)中，不需要解釋，所以我一開始會(huì)選擇這個(gè)賽道。

Q：《山海奇鏡之劈波斬浪》的制作過程和工期？

A：文生圖的階段用的是 Midjourney，圖生視頻的階段基本都用可靈，音樂也是 AI 做的，剪輯沒有 AI 的參與，走傳統(tǒng)的流程，用 Final Cut 剪，不是說一個(gè) AI 就全都解決了。

可靈沒有出來之前，我們用其他 AI 工具完成了一版預(yù)告片，但和可靈團(tuán)隊(duì)溝通了之后，又在圖片到視頻的階段進(jìn)行了重制。

《山海奇鏡之劈波斬浪》 2 分半左右一集，5 集是一個(gè)系列故事，加起來十多分鐘。在這個(gè)體量下，光是重制，包括剪輯，花了 10 天左右的時(shí)間，算是非常非�？斓牧�。

Q：基本都是圖生視頻嗎？

A：我們所有商業(yè)化交付的片子，幾乎全都是圖生視頻，因?yàn)槲纳曨l還做不到，包括可靈的技術(shù)也不行。

文生視頻沒有鏡頭和鏡頭之間的連續(xù)，比如眼睛的大小，你不通過圖片，直接文字到視頻，是控制不了的。

AI 生成的原理，就是一個(gè)黑盒，不是白盒。

什么是白盒？照相機(jī)能通過控制光圈、快門、白平衡，達(dá)到高度可控的畫面效果，我能控制所有的元素。但黑盒，我們現(xiàn)在常說的一個(gè)詞是「抽卡」，圖片階段我們盡量做到人物的一致性，然后在圖片驅(qū)動(dòng)視頻的階段再去選擇，最后出來的一致性效果比較好。

某些賣課的不良商家吹噓什么一句話就當(dāng)導(dǎo)演，它其實(shí)是不存在的，沒那么簡(jiǎn)單。如果真這么簡(jiǎn)單，我們就算詐騙了。

Q：創(chuàng)作人員還是按照一個(gè)傳統(tǒng)的劇組來安排嗎？

A：遠(yuǎn)遠(yuǎn)沒有那么多人。以前玄幻題材的這么一個(gè)片子，100 人可能是比較輕松的人數(shù)，但我們現(xiàn)在也就十多個(gè)人，少了 10 倍了。單純看降本增效的話，是非常非常明顯的。

Q：剛才說到剪輯還是人工，剪輯花的時(shí)間占比有多少？

A：還是比較長(zhǎng)的。我覺得在影視制作當(dāng)中，目前還有很多的環(huán)節(jié)是不可以被 AI 化的。

比如劇本的創(chuàng)作、后期的剪輯、影視化表演類型的配音，短時(shí)間內(nèi)都不會(huì)被取代掉。還有一個(gè)，整個(gè)鏈條最后被取代的工種——導(dǎo)演，像我這樣的，掌控全局的人，生發(fā)想法的人。這幾個(gè)工種，涉及到很多人類的主觀創(chuàng)作。

光是《山海奇鏡之劈波斬浪》的本子，我就磨了近兩個(gè)月，當(dāng)時(shí)其實(shí)還沒有確定部署平臺(tái)，快手找到我們，一個(gè)是看到我們有制作能力，一個(gè)是劇本已經(jīng) ready 了。那時(shí)候 Sora 剛發(fā)布，炒得比較熱，各家都在尋找，誰(shuí)有這樣的能力，誰(shuí)能做這件事情。

閑人一坤團(tuán)隊(duì)今年 1 月的 AI 概念片

我們?cè)诙兑�、快手可以看到很�?AI 配音，但它只適合簡(jiǎn)單的短視頻，沒有什么情緒，或者單純的搞笑，一旦涉及到人物表演，那就很難了。

剪輯也是一樣的，剪一個(gè)訪談，誰(shuí)說話剪誰(shuí)，現(xiàn)在有很多 AI 剪輯軟件可以實(shí)現(xiàn)。但是當(dāng)你需要去捋一條故事線，當(dāng)你需要去面臨很多選擇，就不是一個(gè)嚴(yán)格的 1+1=2 的過程。你把一個(gè)片子給兩個(gè)剪輯師，剪出來的東西一定是不一樣的，沒有標(biāo)準(zhǔn)答案。

Q：假設(shè)出現(xiàn)可能替代人類剪輯師的 AI 了，你愿意嘗試嗎？

A：會(huì)啊。當(dāng)然會(huì)嘗試。我并不排斥，所有的新技術(shù)我一定都會(huì)先去嘗試。之前我們的 AI 片子是真人配樂，這次就已經(jīng)是 AI 配樂了。但凡能夠達(dá)到我的要求，我一定會(huì)用 AI，不用 AI，是因?yàn)檫€達(dá)不到我的要求。

Q：從目前來看，傳統(tǒng)影視和 AI 影視的總體差別是怎樣的？

A：AI 影視在資金投入體量、制作周期方面，一定會(huì)有優(yōu)勢(shì)。

目前，AI 影視遠(yuǎn)遠(yuǎn)沒有達(dá)到或者超過傳統(tǒng)影視的效果�，F(xiàn)在任何一個(gè)可靈生成的視頻，給我足夠多的錢和時(shí)間，我都可以通過傳統(tǒng)影視復(fù)現(xiàn)，但傳統(tǒng)影視的很多鏡頭和效果，在可靈當(dāng)中不一定能夠復(fù)現(xiàn)。

之前在傳統(tǒng)影視，我們做過一個(gè)虛擬的場(chǎng)景，是在空中漂浮的一個(gè)島，光做這一個(gè)島，一家大的電影特效公司給我們做了大概兩個(gè)月。但從另一個(gè)角度去評(píng)判，這個(gè)島可以實(shí)現(xiàn)任意角度的拍攝，怎樣都不會(huì)穿幫，可以實(shí)現(xiàn)一年四季的各種變化，上面還可以有各種花木，調(diào)整的空間非常大。

所以，AI 可能可以達(dá)到傳統(tǒng)影視百分之七八十的效果，準(zhǔn)確性和一致性沒有那么高，但是對(duì)效率的提升和成本的降低是巨大的。

Q：你在發(fā)布《山海奇鏡之劈波斬浪》預(yù)告片時(shí)寫道，這個(gè)片子不再是動(dòng)態(tài) PPT 了，為什么這么說？

A：之前我們看 AI 視頻，為什么覺得像動(dòng)態(tài) PPT？因?yàn)槿宋飫?dòng)作、幅度、流暢性都會(huì)有問題，像慢動(dòng)作一樣，微微地動(dòng)，這是所有 AI 視頻工具都有的問題。

但可靈的運(yùn)動(dòng)幅度、運(yùn)動(dòng)合理性、人物推理，都不再是簡(jiǎn)單的二維動(dòng)作，而是整體的三維推演。

比如，《山海奇鏡之劈波斬浪》預(yù)告片有個(gè)非常標(biāo)志性的鏡頭，片尾時(shí)水神共工從山里掙脫而出，然后站起來，用別的軟件是比較難生成出來的。

Q：AI 生成視頻工具似乎存在共識(shí)，可靈的首尾幀控制，Luma 之前也推出了，可靈的運(yùn)鏡控制，Runway 去年就有，都是讓生成過程更可控，未來，AI 生成視頻還會(huì)怎么發(fā)展？

A：一定是更加可控、更加精準(zhǔn)。

一個(gè)是鏡頭運(yùn)動(dòng)的控制，拿可靈當(dāng)前的版本來說，希望能夠更快開放圖生視頻的運(yùn)鏡控制，文生視頻已經(jīng)有了。

還有一個(gè)是畫面內(nèi)的控制，Pixverse 有 Magic Brush， Runway 有 Motion Brush，一個(gè)是畫箭頭，一個(gè)是設(shè)置 xyz 軸的參數(shù)，筆刷圈定畫面當(dāng)中的某個(gè)區(qū)域，告訴大模型希望它能夠怎樣運(yùn)動(dòng)，但現(xiàn)在可靈只能通過提示詞控制。

比如樹上有三只小鳥，左邊的向左轉(zhuǎn)頭，中間的向上抬頭，右邊的向右轉(zhuǎn)頭，用提示詞控制的話，不能那么精準(zhǔn)，但用 Magic Brush 或者 Motion Brush，相對(duì)比較容易實(shí)現(xiàn)。

體驗(yàn)過可靈，以及和創(chuàng)作者交流過，我們能夠比較明顯地感覺到，目前的 AI 工具縱然不完美，但已經(jīng)能夠作為工作流的一部分。

不神化 AI，不抗拒 AI，思考如何使用 AI。在 AI 面前，人類的審美、剪輯、創(chuàng)意，仍然閃閃發(fā)光。

創(chuàng)作者會(huì)評(píng)判，這個(gè)用 AI 完成的部分，能不能達(dá)到自己的要求。而作為觀眾，我們也能夠直觀地感覺到，作品背后的人，是否有熱情地把 AI 作為工具，傳達(dá)他的信念和追求。

本文來源：Appso

可靈 AI生成視頻創(chuàng)作工具

appso

原創(chuàng)欄目