【課堂筆記】全AI音樂影片生成工作流程｜VT
一、前言
隨著AI時代的來臨，生成式AI已在近年來不斷出現在我們的工作，甚至日常生活中。而這些不斷推陳出新的AI工具，不僅可以幫助我們進行行政工作，現在更可以幫助音樂藝術創作者製作歌曲與MV。本次課程將告訴大家，如何利用各種不同的生成式AI工具，幫助我們從零開始製作歌曲與MV。
二、製作MV的基本流程
製作MV時有七個基本要素，包含歌詞、曲、旋律、編曲、演唱、圖像與動畫。在沒有AI輔助的情況下，是先有曲再有詞，或先有詞再有曲，其實差異不大。然而對AI來說，由於它必須要有歌詞，才能製作相對應的曲，所以在使用AI製作MV時，我們必須要先有歌詞才能進行譜曲，最後進入圖像與動畫生成。因此，我們可以將使用AI進行MV製作的基本流程分為以下四個步驟：
- 歌詞創作：如果我們自己有想法的話，當然可以自己寫歌詞。但若沒有想法，或擔心自己文筆不好的話，則可以交由ChatGPT幫忙提供我們創作靈感。
- 譜曲、編曲、演唱：在這個部分，目前較熱門的生成式AI創作平台為Suno以及Udio。Suno目前已推出約半年，其支援中文且中文能力已經相對成熟，可以相對穩定地產出中文歌曲。Udio的在製作中文歌時雖然常常脫稿演出，但卻很有靈魂。在製作英文歌曲方面的表現則是相對穩定。
- 圖像：圖像生成式AI可以有免費和付費兩種。免費的軟體包含Bing、ideogram和Stylar AI。Bing是目前最多人使用的平台，它語意理解度強大且支援中文。Ideogram相對比較少人使用，但也可以支援中文，且生成的圖片質量也與Bing不相上下。Stylar AI則可以把真人圖像或既有圖像進行穩定的分割，且風格也較統一，有利於MV製作。付費軟體則是我們熟知的Midjourney和Leonardo AI。兩者的圖片品質都相當高，但若使用的是免費版的Leonardo AI生成圖片，品質就會較低。
- 動畫：目前有四個熱門的生成式AI可以幫助我們生成動畫，包含Leonardo AI、Runway ML、Haiper與Pika Labs。這四個平台都能夠產出大約2-4秒的動畫，但仍無法像Sora一樣產出非常擬真且長達一分鐘影片。Leonardo AI比較簡單直覺，但如果想要有比較多控制的部分可以使用Runway ML。Haiper 和 Pika Labs可控與可後製的功能較少。
三、實戰演練：AI創作歌曲與MV
- 歌詞創作
當我們沒有靈感創作歌詞時，可以利用ChatGPT幫助我們撰寫歌詞。在下指令時，我們可以掌握幾個訣竅，像是告訴ChatGPT要扮演何種角色、擅長做什麼事、要幫我們做什麼，以及我們想要看到什麼樣的結果。舉例而言，我們可以告訴它：「現在開始您是一位擅長中國風歌詞的作詞人，您將基於我所提供的情境書寫一份歌詞，並且通過 “[Verse]” / “[Interlude]” / “[Chorus]” / “[Outro]” 等註解來標註歌詞段落。您所創作的歌詞將適合用於中板節奏，務求句式優美且詞藻華麗，並注重押韻。歌詞大約在280-350字之間。請問您準備好了嗎？」我們之所以要在指令中請AI幫助我們利用註解標註段落，是因為這些標註就是接下來利用Suno創作歌曲時給AI的參考指標。
接著，我們就會得到ChatGPT生成出的歌詞。雖然它生成的歌詞可能會有瑕疵，像是歌詞字數並非完全對稱，或者沒有真的押韻，但我們只要再進行微調即可。調整好歌詞後，我們就可以開始生成歌曲囉！
- 生成歌曲
在生成歌曲時，我們可以使用Suno。Suno目前提供免費用戶每天50點的點數，每次生成會扣10點，因此每天可以創作5次的歌曲。但必須注意的是，免費用戶所創作的歌曲不能拿來做為商用，否則Suno有權提告。因此，若大家想要將AI生成的音樂公開發表或做為商用，還是建議大家購買付費版的Suno。
當我們進入Suno的頁面後，可以在左側工具欄中選擇「Create」，並開啟「Custom Mode」開始製作歌曲。首先，我們先在「Lyrics」的欄位中，將ChatGPT生成的歌詞貼上。接著，我們也可以設定曲風，像是爵士風、鄉村風或R&B等。提醒大家，雖然我們在Suno輸入歌詞時可以輸入中文，但在設定曲風時還是必須使用英文。最後，我們再於「Title」中輸入歌名，並點選「Create」就可以開始生成歌曲了。另外，假如我們在Suno上有喜歡別人所分享的曲，想做出一樣曲風，也可以將他們的指令複製下來使用。
Suno最後會生成出兩首歌曲，我們如果正好有喜歡的版本，當然就可以直接下載下來。然而，如果我們不滿意生成結果，目前尚無法在Suno中進行編輯或修改細節。也因為如此，AI歌手的聲音可能會在平凡的部分放太多情緒，應該激昂的部分反而沒有情緒。因此，若狀況允許，我們還是可以請真人歌手進行演唱，避免上述的情況發生。除此之外，目前Suno可以製作四分鐘的歌曲，但若發現有時間太短唱不完的情況，也可以在Suno生成的音檔中選擇「Extend」，再將AI沒唱完的歌詞重新貼上，並在「Extend from」中設定要從歌曲的幾分幾秒延伸，最後再將音檔拼接起來即可。
- 製作分鏡稿
由於拍攝MV或利用AI製作MV時，我們要知道有多少場景或圖片，也就是分鏡，才能夠開始製作MV，因此分鏡稿在MV製作相當重要。而當我們有了歌曲後，就可以開始製作分鏡稿了。如果一開始對於一首歌曲沒有太多的想法或畫面，那麼也可以利用ChatGPT幫助我們生成分鏡稿。我們可以告訴它：「接下來我要製作MV，因此需要一些畫面，請您針對每兩句歌詞提供一個場景的分鏡稿敘述（包括間奏、前奏、結束時也都需要場景）。」接著，我們也要在指令中請ChatGPT分別提供中、英文敘述，以及場景所對應的歌詞。之所以需要英文敘述，是因為有些生成式AI，如Midjourney或Stable Diffusion，僅支援英語，而有了英文敘述，我們就可以直接將指令貼到這些AI軟體中。
當我們有了分鏡稿後，就可以利用生成式AI產生圖片。舉例而言，我們可以將中文分鏡稿敘述複製下來給Bing，請它幫我們生成圖片。但目前Bing只能幫助我們生成1:1的圖片，因此若要調整尺寸，就必須藉由其他工具進行調整。除了Bing以外，ideogram也可以接受中文指令，且可以控制許多元素，當然我們也可以在輸入指令時告訴它我們想要的風格。目前ideogram也可以較精準地在圖片中呈現英文字，但圖片中的人物可能還是會有缺陷。雖然我們無法直接在ideogram上調整圖片細節，但我們可以利用Leonardo AI或Krea將圖片放大重繪。最後，我們也可以利用Stylar AI生成圖片。Stylar AI的好處是有非常多風格可以選擇，且也可以穩定地產出同一個風格的圖像。因此，它可以穩定地將ChatGPT給我們的分鏡場景以統一的風格做出來。
- 製作動畫
當我們有了圖片後，就可以開始進入最後的動畫製作囉！製作動畫常用的生成式AI工具有很多種，首先就是我們所熟知的Leonardo AI。要利用Leonardo AI製作動畫，我們只要在左側工具欄中選擇「Motion」並上傳圖片即可。但要特別留意的是，目前只有付費用戶才能上傳自己的圖片，免費用戶則只能用我們在Leonardo AI生成的圖像作為動畫的參考圖。另外，Leonardo AI製作動畫時只有「Motion Strength」一個參數可以調整。
如果在製作動畫時想要有比較多可控的項目，讓AI可以比較容易照著我們的想法生成影片，那麼可以使用Runway ML生成動畫。目前Runway ML提供免費用戶每月125點，換算後每月只能產出16秒的圖像，可能對於要製作三到四分鐘的MV較為不利。因此若真的有需要，則可以考慮購買付費版。在Runway ML我們可以像在Leonardo AI上一樣調整Motion Strength，也可以調整影片的運鏡。但需要注意的是，如果運鏡幅度太大，可能會造成最後影片中人物的移動較不穩定而產生扭曲。要解決這個狀況，我們可以將運鏡的參數調整到不大於1即可。另外，我們也可以利用「Motion Brush」的功能控制圖像中人物的移動。例如，我們如果想要圖像中某個人往前移動，就可以將他圈選起來，並調整移動的方向。而為了確保移動方向的正確性，我們也可以試著在指令中加上敘述，讓AI了解我們想要的成果。
最後，除了Leonardo AI和Runway ML以外，我們也可以用Noisee製作動畫。用Noisee製作動畫時，我們只需要提供給它在Suno上歌曲的網址以及我們想要的風格，它就會自動生成一部動畫。然而，由於我們只提供它Suno歌曲的網址和我們想要的風格，其他則由Noisee基於歌詞自行編輯。所以動畫中的每個分鏡風格都不盡相同，甚至人物可能會有明顯的瑕疵。因此，Noisee的生成結果或許可以做為我們很好的靈感，但無法實際應用。
四、結語
本次課程告訴大家，如何利用目前市面上常見的生成式AI軟體，從無到有創作歌曲和製作MV。然而還是不免俗的要提醒大家，雖然生成式AI製作MV可以節省大量的時間甚至人力，但是我們必須注意這些軟體是否有條款，限制我們將生成物做為商業用途。如果大家真的想要將生成結果做為商用，那麼還是建議大家購買付費版，不僅保障自己的權益，也可以讓自己免於不必要的麻煩。
瀏覽 384 次
