手機秒拍動畫大片,高級運鏡效果驚人!Runway兩彈更新,火得一塌糊塗

新智元報道

編輯:靜音

【新智元導讀】在AI視頻這一賽道,Runway顯然已經走出了自己的特色——專注於藝術、媒體和娛樂。他們新近連發了兩個新功能:可將真人面部表情精確復刻給AI角色的Act-One,以能夠實現3D化的AI攝像頭控件。

前幾天,Runway宣佈更加靈活逼真的AI攝像頭控件上線,開始實現3D化!該功能Gen-3 Alpha Turbo視頻生成模型可用。

而就在一個多星期前,10月23日,Runway還宣佈了Gen-3 Alpha的新功能Act-One。該功能可以將視頻中真人的面部表情精確復刻給AI角色。

功能雖小,但都將爲動畫師、遊戲開發者和電影製作人提供非常大的便利、節約巨大的成本。

在各大公司爭相卷AI視頻生成長度、逼真度、流暢度的時候,Runway顯然已經在AI視頻賽道中走出了自己的特色——做專門服務於藝術、媒體和娛樂的AI。

正如Runway的CEO在他的博客裡寫道:

「許多人犯的錯誤是將人工智能視爲最終目標。它不是。人工智能是機制,是支持更大事物的基礎設施。真正的革命不在於技術本身,而在於它所賦能的東西:新的表達形式、新的講故事方式、新的連接人類經驗的方法。」

「這也是爲什麼純粹的人工智能公司變得過時。引人入勝的問題不再在於技術本身——而在於我們用它構建什麼。下一波創新不會來自專注於構建更好模型的公司。」

「變革的浪潮將來自那些懂得如何使用這些工具創造新媒體形式、新體驗類型和新的講故事方式的人。基礎設施已鋪就,基礎已建立。現在是令人興奮的部分:用它創造有意義的東西。」

AI攝像頭控件

儘管其他AI視頻生成器和Runway本身之前也提供攝像頭控件,但它們相對粗糙,生成的新視頻常常顯得隨機且侷限——在嘗試圍繞主體上下或四周平移時,有時會導致主體變形、變成二維,或者出現奇怪的變形和故障。

但是,現在有了Runway新發布的AI攝像頭控件,用戶可以任意選擇在場景中移動的方向、角度、速度,將各種相機移動方式和速度變化相結合。

水平移動的同時轉換鏡頭角度,以環繞主體形成弧線效果。

快速地穿越地點,

緩慢地在場景中移動,

快速拉遠鏡頭。

Act-One

在影視製作中,爲了將真人表演轉化爲適用於動畫的3D模型,傳統的面部動畫流程通常包含多個複雜的步驟,涉及動作捕捉、面部手動綁定等技術,還需要非常多的參考視頻素材。

電影拍攝過程中,演員頭戴專用設備,臉上佈滿了標記點

而且,傳統方法還面臨着一大挑戰——如何將參考視頻中的情感、微表情完整複製到數字角色中。

現在,用Act-One,一個視頻就可以。

甚至,一段用普通手機拍攝的視頻,都能爲AI生成的角色賦予生動逼真的表情。眼神、微表情、節奏和表演的呈現都在最終生成的輸出中得以精準還原。

Act-One支持生成的角色類型還很多樣。一段視頻可以生成好幾種畫風不同的人物角色。

列舉的案例中,還有生成動物動畫角色的,感覺可以直接上演「瘋狂動物城」了!

現就職於Runway的Jimei Yang在X上發佈了一個用Act-One生成的經典場景復刻,重現了《指環王》中咕嚕的「nobody likes you」臺詞。

在不同的視覺角度下,用Act-One生成的人物視頻依然具有高度穩定性,保持着高保真的面部動畫。不會因爲視角、光線等因素的變化而產生質量波動或失真。

Act-One還可以創建多輪對話場景。毫不誇張地說,只要有攝像機,一個人,就可以演一臺戲!

單人錄製過程

成品視頻

參考資料:

https://runwayml.com/research/introducing-act-one