Facebook Pixel
訂閱
快速註冊 已是會員,立即登入

為您推薦

會員權益

Sora打造首支音樂MV!業界評優缺點:零演員超省,但有兩問題

傅莞淇
user

傅莞淇

2024-05-07

瀏覽數 8,000+

首支全由Sora技術生成的音樂MV在5月初上線,製作過程中竟沒有啟用任何一位演員!取自Washed Out〈The Hardest Part〉MV截圖
首支全由Sora技術生成的音樂MV在5月初上線,製作過程中竟沒有啟用任何一位演員!取自Washed Out〈The Hardest Part〉MV截圖
00:00
00:00

首支全由Sora技術生成的音樂MV在5月初上線,製作過程中竟沒有啟用任何一位演員!所有超現實的流暢畫面,都是這款由ChatGPT團隊打造出的AI新工具打造出來的。這首美國冷波音樂藝人Washed Out的新單曲MV,背後藏著多少人工編修?藝術工作者如何看待Sora的優點與缺點?

以「冷波」(chillwave)風格見長的Washed Out將於6月發行新專輯,前導單曲〈The Hardest Part〉MV中,以快速、流暢的畫面呈現了一對情侶40年間的生活片段,呼應歌詞描繪的愛與失落。但製作過程沒有起用任何一名演員、搭建任何一個場景。每一幀人類畫面,都是Sora想像出來的。

Washed Out "The Hardest Part" from Paul Trillo on Vimeo.

影/前導單曲〈The Hardest Part〉MV中,以快速、流暢的畫面呈現了一對情侶40年間的生活片段。

Sora是開發出ChatGPT的科技公司OpenAI研發的影片生成模型。2月首度公開展示影片時便技驚四座,引發好萊塢一陣動盪。目前仍屬開發階段,但少數獲得試用權的藝術家們已分享了不少成品。

由跨域藝術家崔洛(Paul Trillo)操刀的〈The Hardest Part〉,是Sora首度生成的官方委託音樂MV。片長約四分鐘,也是Sora至今製作出的最長音樂MV。5月初上架後,截自7日瀏覽人氣已接近4萬,許多網友都為了AI創新的成果前來瀏覽與驚嘆。

藝名為「Washed Out」的美國樂界明星,本名恩斯特‧葛林(Ernest Greene),他曾在2014年來台演唱。據《洛杉磯時報》(Los Angeles Times)報導,他找上崔洛製作新曲MV時,兩人原想雇用舞者、尋找適合場景拍攝。但考量時間與預算限制,正與OpenAI合作的崔洛提議改使用Sora製作。

葛林起初有些猶豫。他描述,自己多年來創作的音樂與MV,都是從一種真實、真誠的情感出發。AI影像則常有一種不自然的製造感。但本身也從事影像創作的葛林最後同意實驗。

崔洛花了約6週時間,從Sora生成的近700個片段中採用50幾個,剪輯出這段四分多鐘長的影片。他表示,這個點子在十年前便已萌生,但由於MV預算範圍較低而一直未能實現,直到Sora出現。

Sora優點:讓創作更自由,也不受預算限制

3月時,OpenAI釋出首波創意工作者試用Sora的報告〈Sora: first impressions〉。擅長影像創作的崔洛便是獲OpenAI欽點的人選之一。當時他表示,與Sora合作帶來前所未有的不受限之感,「在你不試圖複製舊的東西,而是實現新穎、原本不可能實現的事物時,Sora最是強大。」

〈The Hardest Part〉可說是這個觀點的又一次實證。從門洞裡外迥然不同的景色到飛掀的床單,崔洛善用模型的「幻覺」與不穩定性,接納奇異、近乎扭曲的細節,以夢幻般的超現實質感,呼應人類記憶的凝縮與不可靠性。

擅長影像創作的崔洛是獲OpenAI欽點的人選之一。取自paultrillo.com

擅長影像創作的崔洛是獲OpenAI欽點的人選之一。取自paultrillo.com

崔洛承認,Sora仍有著不少限制。例如,MV中應該是同一對情侶的兩名男女人物,在每個片段中都有些許差異,無法保持一致性。

但一向熱衷技術實驗、勇於探索新敘事方式的崔洛認為,比起成為一種取代性的主流創意工具,Sora更像是工具箱中的一個新成員。在較低的預算範圍內,實現創意工作者過去只能想像但難以觸及的夢想。目前不清楚這支MV的製作總成本,但OpenAI並未收費。

崔洛在訪談中解釋,自己起初接觸Sora時也有點不知從何開始。可能是為了讓藝術家們自由發揮,OpenAI並未給與太多指點。該使用哪些術語、如何指引運鏡方向,都得自己摸索,「一開始完全就是猜謎遊戲。」

在嘗試過多種可能性後,崔洛發現Sora比他預期得更強大,尤其是在他感興趣的實驗影像層面。此後,崔洛便持續探索Sora的極限。他描述,創作者可以將任何點子丟給Sora,即使是一開始不怎麼樣的點子,因為它不會有任何預設的成見。

「你不用向任何人提案,或是等待他人的准許。」崔洛表示,「這會讓你嘗試一些你通常不會去探索的事物。」

Sora缺點:不懂導演語言,生成的內容缺乏一致性

另一組與OpenAI合作的創意團體「shy kids」,在3月繳出約1分半長的Sora生成短片《Air Head》,描繪一名頭部是顆黃色氣球的男子的人生體悟。

遠見陪你智慧行,閱讀有禮送好箱

負責後製的團隊成員希德伯格(Patrick Cederberg),在4月中時也分享了創作這支短片的技術細節。他表示Sora玩起來「非常有趣」,團隊已經在想像所有可以將它融入現有流程的方式,但「控制」依然是最難捉摸的部分。

由於Sora只能接受文字指令,不能以一次生成的影片來指引下一次的生成內容。即使用完全相同的文字指令,兩次生成內容也不會相同。目前並無現成功能來維持生成一致的角色,則是缺點。

影/創意團體「shy kids」在3月繳出約1分半長的Sora生成短片《Air Head》。

以《Air Head》為例,希德伯格透露,每次生成的氣球都不盡相同。有時會有張臉在氣球上,有時下方會垂掛一條繩子,有時氣球甚至不是黃色的。

Sora另一個缺點是:缺乏控制攝影鏡頭移動的統一用詞。希德伯格認為,OpenAI工程師開發Sora時較著重在影片生成技術本身,似乎沒有用導演的敘事思維來思考。

諸如平移、推軌這類運鏡術語沒有讓AI充分訓練學習,以致它不諳導演語言,讓創作者很難準確生成想要的鏡頭移動方式。

shy kids的應對技巧是寫出非常詳盡、包納各種細節的文字指令,來提升生成內容的一致性。另一個做法是大量生成大約20秒長的影片,提升從中取得有用畫面的機率。

希德伯格估計,為了剪出不到1.5分鐘的影片,他們大約生成了幾百個10~20秒的片段,「可能只有1/300的原始素材最後剪進成品裡。」

這一切都代表著大量的後製工作。氣球本身需要重新上色、刪除多餘的物件(如垂繩)。所有Sora生成的畫面都經過畫質提升、調色以及顆粒效果等後製。

即使shy kids有準備劇本,仍需要許多靈活應變。與其說是照著劇本拍出每一個鏡頭的劇情片,整個製作過程更像是從各種素材中剪輯出的紀錄片。

目前OpenAI還在根據使用反饋優化Sora,因此shy kids製作《Air Head》時的模型應已算相對早期的原型。但目前看來,Sora的生成力縱然強大,依然需要不少人為干預。距離創意產業最高階、精準的應用也還有一段路得進步。

Sora的生成力縱然強大,依然需要不少人為干預。取自OpenAI

Sora的生成力縱然強大,依然需要不少人為干預。取自OpenAI

從廣告提案到房產廣告,Sora影響料將遍及各產業

另一方面,《金融時報》(FT)也邀請廣告、房產與動畫業者試用Sora、以及主要競者Runway和Pika,測試這些模型在其他產業的現行實用性。

整體而言,Sora的畫面表現最佳。品牌廣告顧問公司Arq共同創辦人班揚(Charlotte Bunyan)肯定,這樣的工具能在提案時協助客戶更容易理解創意點子會如何呈現。但對房地產業者來說,目前畫面可能還未達到他們期待的完美真實感。

Escape Studios的動畫師威廉斯(Alex Williams)則表示,Sora這樣的影片生成技術,是動畫業自1980年代以來遭逢過最重大的技術進展,可與2D朝向3D的轉變相比擬。

威廉斯解釋,他也曾與其他手繪動畫師一同抵制過3D動畫,但幾年後理解到自己需要接納這個轉變。「以產業而論,我們確實需要擁抱科技。」他說,「你不會想站在錯誤的一邊。」

延伸閱讀

AI教父黃仁勳的創業領導成功之道
數位專題

AI教父黃仁勳的創業領導成功之道

AI晶片巨頭輝達(NVIDIA)執行長黃仁勳勢不可擋!1993年創立輝達以來,公司市值近來創下歷史新高,黃仁勳身價更是破千億美元榮登全球前15大富豪。隨著Computex 2024登場,他帶來的A

請往下繼續閱讀

登入網站會員

享受更多個人化的會員服務