我們花了10天時間，給CCTV6做了一部AI短片 - 5000字全流程覆盤拆解

故事是這樣的。

前段時間，我們花了10天時間，爲CCTV6電影頻道AI影像人才優選計劃，做了一部AI短片，《玉覆荊楚》，在4.12號的電影頻道M榜盛典上正式亮相，同時也算爲後面的AI影像大賽打個樣。

然後肉身去了一趟M榜盛典現場，走了一段秀亮了個像。

當你前排就是王迅、鄭凱、劉浩存、周深、烏爾善、張藝謀、成龍這一種明星大佬時，那種感覺還是有點意外以及特殊的。

回到這個片子本身。

因爲是荊楚文化命題作文，所以我將我一直很喜歡的遊戲元素，跟給我震撼非常大的荊州博物館中的文物做結合，有了這麼一個故事。

這是一個關於遊戲、文物、堅守、傳承的故事。

我們肝了整整10天，這也是我第一個真正電影質感的AI短片，更是做的最開心的一個短片。

希望大家喜歡。

這10天的日日夜夜，我們基本是屬於沒睡覺的，每天4點睡，9點起，有很多痛苦和麻煩，過程中無數次想放棄，甚至快乾成了半個屍體。

宮崎駿老爺子說：“重要的事，大都很麻煩”

所以很多痛苦和麻煩的故事，結尾總是快樂的。

這十天，我也覺得有很多可以寫下來的東西。

所以，那就寫一篇文章，來記錄一下吧。

這也算，一種“傳承”。

整體的AI影像製作工作流，其實一直都沒有什麼太大的變化，依然是：

1.寫劇本 - 2.做分鏡 - 3.AI生圖 - 4.圖生視頻 - 5.剪輯 - 6.聲音和音樂製作

這其實就是一個非常小型的影視工作流。

但是在每一大步的具體細節中，可以說有了翻天覆地的變化。

這也符合AI的特性：人間一天，AI一年。

我們一個一個來說吧。

一. 寫劇本

坦率的講，AI短片故事的劇本並不是很好寫。

因爲我們從一開始，就是荊楚文化的命題，以及我一開始就很想做關於穿越、救贖、傳承這種思路的故事，再加上AI的呈現上限，最多隻能做到3~5分鐘，再長的時長，觀衆就一定會審美疲勞。

所以要在3~5分鐘裡，做到一個有反轉、好看、還契合AI本身侷限的故事，還是非常難的。

特別是對我這種完全對於編劇懵懵懂懂的門外漢來說，更是難上加難。

而且短片的劇本故事邏輯，跟電影級別的長片劇本還是有很大的不同，根本沒有時間給你鋪墊，上來就要直接開始，立刻要展現衝突、交代人物、反轉、帶入高潮，然後ending。

那幾天，我刷了基本大部分的3~8分鐘的歷屆得獎短片，比如《黑洞》、《無翼鳥》等等，還有一衆新興的UP主的短片故事，比如柳葉熙、白夜夢的摸魚時間等等。

我深刻的感受到：寫故事，寫一個好故事，是有絕對的門檻的。

另一個感觸是：對於短片來說，創意和點子，有時候比努力去寫，更重要。

我記得《任天堂哲學》中，整個任天堂時代的奠基人山內溥有過一段著名的話：

“並非只要一味思考就能獲得成果。和長年累月的冥思苦思相比，也許瞬間的靈感更重要,這種瞬間的思維火花可能燃起一場轟轟烈烈的燎原之火。”

但是，遺憾的是，在那幾天中，我的腦中，現在並沒有“創意”。或者說，我已經很久沒有接受過一些刻意的“創意”的訓練，更多的得到的是技法的訓練。

以至於我對於該如何去尋找“靈感”，如果去激發“創意”，變得尤爲陌生。

而寫故事這事，我當然也嘗試過交給AI，而是是從去年5月開始，直到這次劇本。

我的明確的結論是：

寫一個大體的小說故事，寫到80分，是OK的。但是寫一個有明確特定主題、有限制的短片劇本，寫到80分。

不行。

至少還遠遠達不到，我所認爲的“創意”或“點子”，還有藕合性。

所以，這次的故事，幾乎都是人寫的。

很感謝尾鰭Vicky、筠姐還有電影頻道對劇本的幫助，至少在有限的空間內，幫我完成了一個能看的過去的故事。

在有了劇本之後，就是做分鏡。

二. 做分鏡

在分鏡的設計上，坦率的講，非常的稚嫩。

因爲在AI製作的時候，我跟@JessyJang、@鄭偉是多人協同，所以我們使用了飛書進行管理。

因爲已經有了明確的故事，所以分鏡主要就是在有限的時間內，將想展示的畫面，用一句話表達出來，最核心的東西就是景別。

我自己本身是非專業的，所以我自己也並沒有什麼太多的經驗可以傳授，都是野路子經驗，比如不能遠景直接切特寫，而是要遠景切中景再切近鏡再切特寫，這樣有連續性。

比如人物的空間關係需要一致。用這一串舉例子，老人走過來，說一句話，然後一掌將主角魂魄擊飛。

我們有個中景的俯視鏡頭，老人在左邊，主角在右邊。後面我們遵從人物空間一致的觀感，把後面的一些鏡頭語言都進行左右統一，老人永遠在左邊，主角永遠在右邊。這樣觀感會好很多。

而在分鏡設計上，因爲我們太過於瞭解AI生圖的上限和AI視頻動態的上限，所以基本上在開始做分鏡設計的時候，就可以避開了一些關係鏡頭，除非是必要的，會用一些傳統的PS和AE去做，其他的儘量就不在分鏡裡出現。

最後我們的分鏡寫完了，除了劇本邏輯順序有調整，基本就沒改過，每一張圖和視頻，都能完整的按照我們的想法，100%實現出來。

三. AI生圖

在圖片生成上，我們依然用的是Midjourney，原因依然單純的很簡單：

我要的電影感和審美，只有Midjourney可以做出來。

很多人問，畫面的電影感到底怎麼做出來，爲什麼我的圖總是一股子AI感。

其實挺簡單的，畫面的電影感無非就是幾個點：畫幅，審美、色調、構圖、光影、景深等等。

我最喜歡用的畫幅比例就是，21:9。

畫幅的比例是會影響生圖的構圖和光影的，21:9，是出電影感最好的比例。

同時在Prompt裡，也可以加電影的專用攝影機，比如

而我們的整體Prompt風格後綴：

________. Shot on Sony Venice 2, muted color tones, green and dark gray, award-winning composition, cinematic scene --ar 21:9

而在人物一致性上，在有了Midjourney的新功能Cref以後，其實就非常簡單了。

我們直接先跑了一張主角的定妝照。

然後在需要出現主角人物的地方，扔進去Cref。保持髮型、人臉、衣服。

坦率的講，Midjourney對亞洲人臉的Cref一致性，要比對歐美的人臉的一致性效果差太多太多了，年輕人還好點，亞洲老人簡直慘不忍睹。

而且Cref的效果，在畫面的審美和構圖上，其實是有一定的破壞性的，所以在原則上，是能不用Cref就不用Cref，比如只有背影的時候，寫個短髮男人黑衛衣就完事了。

這是人物一致性，而場景一致性，目前基本上還沒有任何解決辦法，純粹隨緣。roll的大差不差也就那樣了。

而Midjourney的可控性上限問題，隨着這次項目的進程，也越發的發現，純粹的roll圖或者用他們屎一樣的局部重繪，會浪費太多太多無意義的時間，所以還是得用一些設計師的傳統手段，節省時間。

畢竟，追求全流程AI，沒有任何意義，觀衆不會在乎你是不是AI。

什麼效果好用什麼，什麼成本低用什麼，一切都是在成本和收益之間的求解過程。

所以，我們就直接掏出了PS，還有做動效的AE。

PS得益於PS AI的加持，在圖片的修改階段，有極其可怕的上限，而且是唯一一個，能跟的上Midjourney的質感和細節的。

就比如說我們想的一張氛圍圖，是“中景，一盞只開着燈的辦公樓”，我們希望突出這個辦公樓只有一盞燈開着，體現深夜還在幹活的感覺。

但是Midjourney死活就是不認識什麼叫開着一盞燈。給的圖是這樣的使的：

這種反覆的重roll，或者在Midjourney上用局部重繪沒有任何意義，就是純粹的浪費時間，容我再罵一句：Midjourney的局部重繪，實在太辣雞了。

所以我們直接上PS AI了，每個亮着的都框選，然後寫“熄滅的燈”，非常快的就改完了，再把中間想亮的那部分，再摳出來重畫一下，一張圖就OK了，也就不到5分鐘：

再比如說，一個羽人的圖，Midjourney大的框架出的還行，但是構圖我不喜歡，也有很多細節BUG。

我就扔到PS AI裡，手動拖構圖，修手修臉修翅膀和背部的結構，再加閃電，5分鐘搞定。

再比如，Midjourney出的鳳凰還行，但是構圖問題太大，火焰往頭上噴，我就可以神經病式擴圖法，來調整構圖。

再比如，我生成了一張圖，人物面部表情還可以，就是有太多亂七八糟的懸浮物，還有莫名其妙的傷口，一定會影響後續AI視頻生成的。

再扔到PS裡，直接傳統的修補工具+PS AI，直接5分鐘處理乾淨。

我講了這麼多，想表達的意思是，不要拘泥於所謂的AI，拘泥於所謂的特定工具。

工作流是流動的，要做的，就是用最快、最好的工具，來最低成本的解決某些特定問題。

既然很多東西Midjourney處理的不好或者效果不好，那爲什麼要在那Roll他1小時？我用PS，直接5分鐘P一下，不就行了嗎？

比如說，我們的鼓，在片子中是個很重要的道具，物體的一致性Midjourney處理的很差，但是我們又不希望鼓變形。

所以，直接讓Midjourney生成一個空場景，傳統的PS合成就行了，我們直接把鼓合成進去。

速度很快，效果也能看。

所以，我覺得，一定要要懂得變通。

四. 圖生視頻

在Sora沒出來之前，我們玩的依然是4s。

4s時代，我目前用的最多的，分別是Runway、Dreamina、Pixverse。

三者在片子中的佔比約是60%、30%、10%。

我們用AI視頻生成工具，無非看的就是四點：

用戶體驗、可控性、細節丟失度、運動幅度。

Runway在用戶體驗、可控性、細節丟失度上，依然是目前最強的王者，功能上有鏡頭控制、運動筆刷，在做一些小幅度的運鏡、空鏡，以及一些特定運動軌跡的鏡頭，依然有無與倫比的優勢。

Runway網址：https://app.runwayml.com/

比如這個鳳凰睜眼的，直接運動筆刷輕輕鬆鬆就刷出來了，在別的平臺上，即使你怎麼調整你的prompt，你也大概率roll不出來。

其他的一些小幅度運鏡，效果也很好。

而且Runway是現在爲數不多，能給視頻中的人物，直接對口型的，叫Generative-audio，而且對的效果非常好。

不過，Runway做小幅度和對口型的還行，但是真做一個物體的大幅度運動，直接躺。

而剪映的Dreamina在運動幅度這塊，是屬於碾壓式的，一些大幅度的東西，只能用Dreamina能做出來。

Dreamina網址：https://dreamina.jianying.com/

而且Dreamina有一個很特殊的功能，首尾幀，定好首幀和尾幀，AI自動補全中間的運動軌跡。

這個是一個非常有商業價值且能玩出很多花活的功能。

但是同樣的，Dreamina目前的缺陷也極其明顯：

運動幅度過大導致極難控制、只有3s、幀率只有8幀、分辨率只有720P，傳個21:9的圖上去還自動給你裁成16:9。

問題太多了，但是你架不住人運動關係真的好，也必須得用。

首當其衝的就是我的21:9的圖，自動給我剪裁成16:9。

所以我有兩個選擇：

1.要麼Midjourney生成21:9的，我擴圖成16:9，再去Dreamina裡面跑視頻，跑完以後再裁成21:9的。

2.要麼Midjourney生成16:9的，直接去Dreamina裡跑視頻，跑完以後再裁成21:9的。

聽着好像第二種更輕鬆一點，第一種挺蠢的。

但是我想說的是，因爲尺寸原因，所以基於不同的尺寸，Midjourney的構圖邏輯和審美是不一樣的。

你生成16:9的再裁成21:9的，會發現，構圖大概率直接崩了，主體被裁一半，直接沒法用，所以，你只能用第一種方式去玩，累是累了點，但是爲了效果，沒有辦法。

大概就是這樣：

中間區域是原圖，上下是我用PS AI擴成了16:9，然後爲了讓大家看清調了下透明度。再把這個圖扔到Dreamina裡跑視頻。

我只能在此呼籲一下Dreamina：求求了，啥時候這個蠢問題，趕緊改了吧。。。

Dreamina對Prompt的語義理解非常好，強烈推薦大家把運動速度設爲慢速，我經常喜歡慢速+Prompt裡面寫輕微XX。會有很不錯的效果。

另一個Dreamina非常智障的一點是，只有8幀+720P，對比Runway這種24幀+4k的，基本約等於沒法用。

所以還是需要Topaz Video AI去增強到24幀+4K的。

Topaz Video AI的教程我就不在這裡細說了，給大家一個關鍵詞：Topaz Video AI 4.2.1，拿着這個關鍵詞，去B站搜教程，又好用又簡單，非常方便。

增強完以後，再扔到剪映裡，裁成21:9，這一套就算是齊活了。

AI視頻的趴寫了這麼多，基本已經能處理大部分的效果了。但是，很多東西，依然是AI搞不定的。

比如人物在水中下沉的時候，不管你用哪家AI視頻，臉必糊，跟恐怖片一樣。

這種糊臉，在視頻裡，講道理是無法接受的，太恐怖，也太讓人齣戲。

於是，就只能上傳統AE，自己做，反正就是個普通的下沉位移動畫。

跑了個靜態圖。

再把人摳出來，背景空缺的部分，用PS AI補上。然後把背景扔到Runway裡跑一個動態，再把背景動態視頻和人物的圖片扔到AE裡，給全身釘上錨點，做動畫，最後就是不糊臉的效果。

同樣的，AI視頻這塊，我也講了這麼多，想表達的意思依然是那句話：

不要拘泥於所謂的AI，拘泥於所謂的特定工具。一切都是在成本和收益之間的求解。

五. 剪輯&音效

這一次，在配音、音效、音樂、剪輯上，幾乎沒有用到任何AI流程。

除了李雪健老師的幾句臺詞，是我用SVC跑的之外。

其他的，全是人。

道理很簡單，現在的AI，在這些領域，完全達不到80分作品所需要的要求。

配音有各種TTS，比如11Labs等等，但是在影視中，需要強情緒的，達不到。

AI音效上，有11Labs，但是基本約等於無用，還早，需要進化。

AI音樂上，有Suno、Stable audio，效果能到60分，但是達不到80分，而且這一次的風格比較偏國風，樂器使用裡有很多的鼓，特別是高潮的時候，我很堅持一定要嗩吶。

所以這一次的片子，沒法用。

而如果是一些普通的項目，我大概率會上Suno來做音樂了。

剪輯上，沒有能用的AI。

所以綜合下來看，這兩趴，目前的領域，還是需要大量人工去參與，整個AI產品，還需要時間迭代。

不過問題不大，我有足夠的信心，時間問題而已。

坦率的講，我們這次的片子，《玉覆荊楚》，還有太多可以優化的空間了。

他遠遠沒有達到，所謂完美的地步。

但是朋友有一句話說的很好：

電影，都是遺憾的藝術。更何況一個AI短片。

淚目。

人生又何嘗不是缺憾的藝術呢。

感謝JessyJang和鄭偉，兩個一起熬了N個日夜的小夥伴，每個人都頂起了屬於自己那一趴；

感謝川影的兩位老師，電視學院的董昊老師頂起來全片的聲音製作，新媒體學院的陳秋雨老師撐起了全部的後期剪輯，幫我們撐起了故事的一切。

感謝筠姐、段院長，在整個過程中的傾力的幫忙和資源調配。

也謝謝尾鰭Vicky的劇本支持，還有海辛&阿文的技術支持。

最後，更要謝謝CCTV6電影頻道給的照顧和機會。去年8月在AI視頻起始之初，我的《流浪地球3》的AI預告片的爆火，登上了中國電影報道，跟CCTV6電影頻道結下了一次不解之緣。

沒想到，又成爲了這一次的契機和源頭。

熱愛，方能抵禦漫長歲月。

你的諸多過往，終將積累成你心中的錦繡。

我永遠相信，流浪的路途，一定會有恆星指點。

你也要相信，你心中的那團錦繡，也終有盛開的那天。

風雨同舟，願於諸君共勉。

完。