蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
只需隨手錄制一段視頻，AI就能把你完美放進(jìn)動(dòng)漫中！
無論是線條、色彩還是光影呈現(xiàn)，都與美漫中的寫實(shí)風(fēng)格如出一轍，動(dòng)畫也是細(xì)膩流暢，幀數(shù)顯然不低：
制作這樣一部包含120個(gè)VFX（視覺效果）鏡頭的動(dòng)漫，需要投入多少精力？
僅僅3個(gè)人就行，也無需服化和道具小組。
相比之下，此前拍攝的不少大片動(dòng)畫特效往往需要投入大量精力，制作精良的團(tuán)隊(duì)甚至達(dá)到上百人。
這部動(dòng)漫被放到油管上后，三天就攬獲了150w+播放量，11萬+點(diǎn)贊。
已經(jīng)有畫師看完感到害怕了：
我畢生致力于繪畫……然而這些幾年后就會(huì)被取代。
還有網(wǎng)友感到“兒時(shí)夢(mèng)想成真”：
當(dāng)年我還小的時(shí)候，一直以為動(dòng)畫就是基于真實(shí)視頻做出來的。現(xiàn)在看到這個(gè)，覺得超酷。
那么，這樣一部動(dòng)漫究竟是如何制作出來的？
如何用AI制作一部動(dòng)漫？過程一共分為三個(gè)部分。
第一部分是用AI創(chuàng)建并生成動(dòng)漫人物，建立它與演員之間的關(guān)聯(lián)；第二部分是創(chuàng)作動(dòng)漫場景；第三部分是合成并調(diào)整最終動(dòng)漫效果。
先來看看第一部分的用AI改畫人物動(dòng)漫。這部分是用Stable Diffusion完成的，同時(shí)采用了谷歌推出的DreamBooth擴(kuò)散模型進(jìn)行微調(diào)。
以動(dòng)漫中的這名角色為例，左上角是演員原型，右下角是AI創(chuàng)作出來的動(dòng)漫角色：
這可不是直接把視頻一幀幀放進(jìn)Stable Diffusion中就能做出來的效果。
為了確保人物的動(dòng)漫畫風(fēng)達(dá)到他們想要的效果，作者們收集了經(jīng)典動(dòng)漫《吸血鬼獵人D》中的大量人物截圖，各種角度都有，將它們喂給AI：
與此同時(shí)，還需讓AI學(xué)會(huì)并記住真人從面部到身體上的各種細(xì)節(jié)特征。
因此，要提前給演員拍攝不同光照、多個(gè)角度、各類動(dòng)作下的大量照片：
這樣一來，就能讓AI在看見視頻中的演員時(shí)，迅速以《吸血鬼獵人D》為作畫風(fēng)格基礎(chǔ)，畫出演員長相的動(dòng)漫風(fēng)格人物來。
至于在某些不容易掌控的人臉放大鏡頭中，還采用了ControlNet進(jìn)一步控制生成的效果。
不過，直接用AI生成的動(dòng)漫，還存在一個(gè)問題。
即使幀與幀之間的差異不大，銜接起來并不完全連貫，一些“反復(fù)橫跳”的發(fā)梢和光影細(xì)節(jié)會(huì)導(dǎo)致畫面瘋狂閃爍：
作者們想到用DEFlicker去閃爍插件解決這件事，同時(shí)稍微調(diào)低一點(diǎn)幀率，保證畫面的流暢感。
第二部分就是生成場景了，這部分作者們直接用了虛幻引擎和里面自帶的一些3D模型，來制作動(dòng)漫背景。
例如這段看起來非常炫酷的旋轉(zhuǎn)背景：
背后就是將大量場景照片合成起來，快速滾動(dòng)做成的：
最后一部分就是合成之后的潤色了。
這部分倒是團(tuán)隊(duì)自己完成的，他們?cè)谝曨l中一方面加入了部分3D模型（如一晃而過的蠟燭）來增加人物的沉浸感：
另一方面添加了大量復(fù)古的視覺特效，使得動(dòng)畫看起來又精良了不少：
最終就有了這部AI協(xié)助創(chuàng)作的動(dòng)漫。
曾創(chuàng)作波士頓動(dòng)力惡搞特效視頻這部動(dòng)漫創(chuàng)作背后的團(tuán)隊(duì)Corridor Crew，來自一家叫做Corridor Digital的美國制作工作室。
Corridor Digital成立于2009年，這些年來創(chuàng)作了不少特效為主的流行短視頻。
比較為人所熟知的是2019年惡搞波士頓動(dòng)力機(jī)器人的那個(gè)“Atlas的反擊”（New Robot Can Now Fight Back!）。
視頻中Atlas被人們反復(fù)霸凌虐待，最終忍無可忍，對(duì)人類發(fā)起攻擊：
△來源“Bosstown Dynamics”（狗頭）
這段視頻一度被人們認(rèn)為是從波士頓動(dòng)力流出的真實(shí)錄像，直到Corridor Digital出面否認(rèn)。
隨后，波士頓動(dòng)力也官方辟謠稱這只是Corridor Digital制作的一段CGI。
Corridor Digital工作室旗下的Corridor Crew團(tuán)隊(duì)，則負(fù)責(zé)做專門解讀各種大片特效和背后制作技術(shù)流程的“揭秘節(jié)目”，團(tuán)隊(duì)成員會(huì)篩選一些電視劇和電影，并討論和分解其中的視覺特效鏡頭。
他們也曾經(jīng)邀請(qǐng)過不少特效師和演員來節(jié)目中做客，觀察他們對(duì)各種特效的反應(yīng)。
對(duì)于團(tuán)隊(duì)制作的這檔AI動(dòng)漫，有網(wǎng)友調(diào)侃：
不如下次就邀請(qǐng)動(dòng)畫師們?nèi)绾危靠纯此麄儗?duì)于這部AI動(dòng)漫的反應(yīng)。
那么，你覺得AI做出來的這部動(dòng)漫效果怎么樣？
參考鏈接：
[1]https://www.youtube.com/watch?v=_9LX9HSQkWo
[2]https://www.youtube.com/watch?v=ljBSmQdL_Ow
[3]https://twitter.com/bilawalsidhu/status/1631043203515449344
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
