人工智慧對音樂創作的影響：挑戰和機會

人工智慧的世代來臨，最先被取代的可能是文字工作者、平面設計工作者、以及語言翻譯工作者，但跟樂器演奏家的工作，幾乎完全沒有任何影響。對於作曲家工作是否有影響呢？以現況來評估，流行歌編曲、流行歌作曲可能會先被取代，因為 AI 工具可以輸入歌詞，一鍵生成歌曲，模仿情感張力較薄弱的風格非常容易。（可參考下面影片的 suno AI 展示。或來這裡嘗試 https://www.suno.ai/）若某個廠商需要一首形象歌曲或產品行銷的歌曲，找真人編曲與錄音及演場，依照現在行情，費用需要 30000 NT 以上，找 AI 編曲演唱及寫歌詞，則可能只需要不到 500 NT，而且可以產生很多個版本提供選擇，那麼這個廠商八九成會找 AI 來音樂製作吧。此外，現在教學市場上有很多混音與母帶處理的工作坊，教授在數位音樂體中的混音技巧與母帶處理技巧。數位音樂初學者常以為這些技術是數位音樂的核心，所以會積極花錢花時間去學習，然而，AI 混音與 AI 母帶處理也已經技術成熟，且已經成為線上的商業服務項目，使得混音、母帶處理的專業技師的工作，也將是數位音樂界被 AI 取代的第一波人員。

然而，目前對於高階配樂或作曲工作者而言，由於工作內容的複雜度較高，創意性思考的需求較高，因此被 AI 取代的可能性尚未發生。AI 若要影響到高階的配樂或作曲工作，則首先要能讓複雜的自然音樂器音色被模仿得成功，目前 AI 技術最先模仿的是人聲演唱，在情感的部分迄今還是很難做到逼真，要模仿眾多的自然音樂器的聲響與情感表達，則還要更多的時間來訓練其模型，此外，要將和聲、句法結構、素材發展的音樂要素與情感之間的關係解釋清楚，原本就是一件抽象而困難的事，等於 AI 要模仿連音樂理論家都不一定能系統化解釋清楚的東西，因此就更加不容易了。再者，配樂的音樂需求，若是搭配影像，常常會需要對時間點，但現有的 AI 音樂工具是無法指定在哪個時間點要生成什麼樣的情緒或使用什麼樂器，因此目前 AI 音樂對於影片配樂工作者而言，現階段仍影響有限。再者，要用 AI 來寫管絃樂曲配樂難度更高，在 Chatgpt 還沒問世之前，就已經有一些公司在研究 AI 管弦樂，但從網路上可以聽到的成品以及可操作的 AI 音樂工具而言，多年來的研究產出，一樣是沒有情感的 AI 創作，離動人或具有強烈戲劇張力的的作品還有很大的距離，當然也沒辦法指定哪個時間要出現指定的音樂變化。有興趣嘗試的人可以到 https://creators.aiva.ai/ 網站自己玩一下，看看是否滿意成品。筆者測試過該 AI 系統，能夠指定的項目仍然不夠充足，且音樂品質仍難以達到堪用的標準。

(AI 管弦樂展示）

實際上，在 Ｃhatgpt 出現後，市面上也出現了很多假的 AI 音樂網站，聽起來音樂有一定品質，宣稱其音樂是 AI 製作，然而實際上只是現成的曲庫提供關鍵字搜索功能而已，根本仍然無法依照指示者的提示文字產生對應的音樂。所以 AI 對於精緻音樂而言，還有很長一段時間要走，才有些微的可能具有商品化的可能性。

呈上，學習應用音樂創作，若要能生存得長久，需要走精緻路線，朝情感渲染力、或戲劇張力較大的音樂風格來進行學習，因為 AI 目前最難取代是人類的情感表現。此外，相較於一般的電子樂器音色而言，管弦樂也是目前較難被 AI 取代的編制種類，這些樂器的情感表達方式也是 AI 目前較難模仿的。再者，需要搭配影片內容與特定時間點來進行的配樂創作，目前尚沒有 AI 音樂工具能夠達成。有鑑於此，整體看來，影視配樂相關的行業，由於更強調戲劇張力與細緻的情感表現的需求，作曲者仍可以有一定的生存的空間。值得注意的是：風格相近的流行歌曲編曲應該是最先被取代的種類，因為流行音樂通常風格模仿、和聲抄襲的情況是普遍的現象，而 AI 要從眾多相似風格曲庫中學習，則是最為快速而容易，要 AI 建立流行歌的模型相對容易得多。

整體而言，應用音樂創作的學習相關技術時，除了該選擇朝精緻音樂及影視配樂的方向前進之外，仍要注意 AI 對於這個產業的衝擊，筆者會認為多學習一項相關的技術是有必要的，例如樂器演奏也可以是作曲學習者可以多學的一項技術之一，因為樂器演奏若要由 AI 取代，還要等待 AI 能成功地控制機器人，並且能成功融入情感才有可能，因此作曲者可以多強化演奏能力以便讓自己多一個機會。另一種可能，就是增加自身的科技能力，例如多一些音樂科技的能力，或透過音樂科技的學習過程，深入程式設計，或許可以培養另一項相關專長，較能因應未來更多的產業變化。然而，可預料的是流行歌編曲的需求將大量減少，且目前已經正在發生，因為相關 AI 工具已經有一定的成熟度。年輕的音樂創作相關的學習者可以參考看看上述想法，以找出未來適合自己又能繼續以音樂為業的生存方式。

作曲者的「音樂結合影像」製作方法

作曲家行銷自己音樂的方式有很多種，不同的行銷方式是針對不同的客戶。然而，在各種平台中，筆者認為能見度較高、最多人使用的平台仍可能是 youtube，但 youtube 是以影片為主，因此有些作曲者為了上傳音樂，便必須以影片的方式上傳，但影片的來源若只是靜態圖像的時間拉長，則往往美感不足，反而可能影響聽者對於音樂本身的感受，因此有越來越多作曲家都使用影像特效，將靜態的影片製作成動態的 Loop 影片，方法有很多，但是作曲家畢竟不是專業的影像編輯者，沒辦法花太多時間去處理影像的問題，即使學習專業的影像軟體，如 After Effects, Adobe Premiere Pro,  或 After Effects 等，則由於步驟較為複雜，沒有常常在用的話，學了又會很快忘記。因此挑選介面簡易的 App 來製作靜態圖像的動態特效，則可能是比較務實的方法。

靜態圖片轉動畫的音樂 Video 例子

靜態影像製作成動態的 Video 有許多不同的 APP 可以用，可以參考這裡：

https://www.makeuseof.com/tag/apps-animate-photos/

其中， 筆者測試過 Pixamotion （390 NT）、StoryZ （1320 NT）、以及 Pixaloop （1990 NT)，經過測試過，便宜的 Pixamotion 頗適合初學者，因為使用上非常簡單，工作流程也非常順暢，動畫功能跟其他軟體差不多，但可套用的預設特效與元素的確比較少。StoryZ 的功能有比較多一點，針對作曲家的需求而言，不見得都用得到，例如官方範例中有讓照片中的魚可以略為擺動，我覺得用不到這種功能。StoryZ 有四種工具 ripple、overlay、effects、 backdrop 四種工具，但令人訝異的是這四種工具竟然是各自獨立，沒辦法在一個靜態影像中全部套用，需要先輸出成 video 檔案後才能分別套用不同的工具，ripple 工具底下的 overlay 其實選擇相當少，而且只能套用一個 overlay，若要增加更多的 overlay，必須在 ripple 工具執行完且輸出成影片檔案後，再進到 overlay 工具中添加 overlay，最多只能添加四個 overlay，此外 StoryZ 的存檔的設計比較差，無法存多個草稿供下次繼續編輯。Pixamotion 則 animation、overlay 、Element、filter 是整合在一起的工具，因此使用流程可以非常流暢，overlay 可以套用多個，全部套用好後，可以一次輸出成影片檔。

新手可以從 Pixamotion 快速上手。Pixamotion 中，可以選擇「動畫」來指定要移動的路徑，照片可能要選擇有水波、浪花、天空為主的內容，才比較適合動畫的內容。又可以用「覆蓋」（overlay）來增加雪花、雨點、煙火的特效」，甚至可以用「Element」功能，加上飛鳥、花、樹等的動畫圖層，且圖層的位置都可以移動，並可利用「濾鏡」來更改整體的色彩。

StoryZ

PixaMotion

值得注意的是：底圖的品質與色澤會大為影響最後出來的效果，鮮豔一點的色彩，或者顏色多變的天空等，動畫做出來的效果較佳。有許多 APP 可以作這些處理，比較高階的可以用來換天空的 APP 例如 Quickshot （1990 NT) ，另有一款免費軟體 Picnic 的 APP 也有更換天空的功能，筆者覺得 Picnic 簡單又好用。若選用 pixamotion 為主要軟體，由於其內建濾鏡較少，也沒有換天空的功能，就必須仰賴前述所提到的輔助軟體來增色。其他相片的編輯工具，可以參考這篇的比較：https://iphonephotographyschool.com/best-photo-editing-apps/
其中，免費的 snapspeed 其實非常好用，且各種功能多半都有，可以從此 app 開始學習，裡頭有修復工具，可以清除掉不要的入鏡者。另外 Lens Distortion 的光源效果，也可以讓原本的照片增色不少，以利後續動態的照片之編輯。Magic Eraser（年費 120 NT）則可以用來將圖像中部要的部分做成透明的圖層（去背），以便疊入另一張圖。

前述靜態照片轉動態影片的軟體 使用上，無論是否是付費的專業版或免費的陽春版，通常都有輸出長度限制，例如專業版的 Pixamotion 只能輸出最多 80 秒的影片，因為此類行動裝置的 APP 的目的只是在分享動態相片，主要目的並非製作長達 2~4 分鐘的音樂，所以還必須使用別的軟體來循環播放與加長影片，當然其他的相片轉動畫的軟體，也都有長度的限制 。網路上有人將 15~20 秒左右的影片 loop 製作成較長的影片的方法與工具列在此，可以參考這裡：

https://www.apowersoft.com/loop-video.html#_2

影片輸出完成後，必須至影像編輯軟體裡頭去加長或縮短、配合音樂的長度來輸出。然而筆者試了上面清單所列「loop 加長」的小工具，有些要繳交月費、年費，有些是只能最多執行四次 loop，實在不合作曲家的需求，因此撇開使用較複雜的專業軟體 After Effects, Adobe Premiere, Final Cut Pro 等，反而 iMove 是個不錯的選擇，因為介面簡單，又可以直接在軟體中上傳 youtube ，甚至也可以用來修改原本沒有完美銜接的 loop 影片片段。如下面教學：

經過一番測試比較後，筆者先購買了 Pixamotion，以 390 元台幣購入終身使用權，開始了第一個靜態影像轉動態影片的作品！整個製作流程如下：

相片 ==> Picnic 換天空 ==>  Snapspeed 加上濾鏡、修改色調、或去掉不要的內容 （選擇性） ==> Lens Distortion 加上光源特效（選擇性） ==> Pixamotion 加動畫 (S toryZ 功能更多）==> iMovie 結合音樂並直接上傳 youtube。

整個影片結合音樂分享至網站的過程，大約 15 分鐘就可以完成，可說是非常方便。

筆者也拿自己的舊作（遊戲配樂）、以及動畫配樂，加上自製的靜態相片轉成的動態影片，感覺效果很不錯，音樂因為影像而得到新的感受。以下是 Pixamotion 搭配 imovie 製作的結果。

原圖（日本松本城）

修改過的動態照片（音樂：The First Battle)

原圖（日本）

修改過的動態照片（音樂：The Second Battle）

修改過的動態照片（音樂：Despair）

原圖（日本）

修改過的動態照片（音樂：Reminiscence）

為了比較兩者的功能，筆者最後也購買了 StoryZ，元素雖然較多，但前面有提過其缺點是卻無法整合為一個單一工具，工作流程並不順暢，然而有些效果的確是 Pixamotion 無法做出，例如 StoryZ 有 backdrop 工具，可以將靜態照片的背景換成影片（但只能用影片作背景，無法用照片作背景，也算美中不足）。下面這張是筆者採用網上免費圖庫製作的影片：

原圖

修改過的動態照片 (音樂：The Fourth Battle )

然而，隨著筆者開始下手去設計這些靜態影片轉動畫的過程中，發現仍有一些功能上的需求、且 StoryZ 與 Pixamotion 都有 overlay 不足的問題，後來筆者決定買下 Pixaloop ，最大的原因在於其可以自動偵測照片的天空，並置換成真的雲彩的影片（不只是靜態的照片之天空更換）。另外，由於史詩風格的音樂最適合搭上火、光電之類的動畫，StoryZ 與 Pixamotion 雖然有火的 overlay，卻都沒有雷電元素可以套用，加上整體而言，Pixaloop 可套用的元件最多，甚至飛鳥、蝴蝶、落葉也都比較逼真，又多了「粒子飛散」的動畫特效（不知道用不用得到此功能，但是只有 Pixaloop 有這種功能），因此最後筆者也立即購買 Pixaloop 的終身使用權 ，雖然價格最高 （1990），但變化也最多、品質也最佳、素材最多，工作流程順暢，新舊專案的開啟也非常清楚（StoryZ 則沒有開啟草稿的功能設計），果然是一分錢一分貨啊。
Pixaloop 的官方網站：https://www.pixaloopapp.com/

以下是筆者使用 Pixaloop 將自己拍攝的箱根海盜船的照片、以及新橫濱港的照片加上特效而成之動態照片之比較 。

 原圖（日本箱根海盜船）

修改過的動態照片 (音樂： Trailer II)

原圖（日本新橫濱）

修改過的動態照片 (音樂：Path to Success)

整體來說，要便宜就選 Pixamotion，要專業就選 Pixaloop，而 StoryZ 則是不上不下，由價格來看其 CP 值而言，可能並不是很好。

physical modeling 虛擬樂器

虛擬樂器這幾年似乎進步得非常快，除了取樣音色庫之外，依照樂器的發聲的原理，利用音響學結合「演算法」所設計的虛擬樂器也進步得非常驚人，此種合成法被稱為 physical modeling。Physical Modeling 的鍵盤樂器比較容易使用，因為不用太多即時參數控制，聲音就非常逼真，還可以作音響上的微調，可能比超過 100G 大小的 spitfire audio 的鋼琴音色庫還更逼真？

除了鍵盤樂器之外，管樂是最早被模擬的，若能搭配合適 MIDI 控制器，則聽起來幾乎跟真的沒兩樣，以下面這個為例， 「花舌」轉到正常演奏法，或吹奏氣音特效，都不成問題。

取樣音色庫中最難處理的就是弦樂獨奏音色，但現在的技術，在弦樂獨奏上一直沒辦法突破，反而是 physical modeling 的技術，讓我們看到了前景。搭配合適的 MIDI 控制器，就可以演奏得有八、九成以上弦樂獨奏的相似度。

關於此系列的介面操作方法，可以參考這個弦樂獨奏樂器的教學影片：

這些用演算法來模擬真實樂器的虛擬樂器，程式檔案非常小，不相高級的取樣音色庫，動輒 30G - 100 G。但此種演算法的音色運用，也有一些缺點：

(1) 需要控制的參數太多：使用者需要一些熟悉的時間去了解每個參數的音色作用。Audio Modeling 這家公司的產品中，大概由於參數控制需求更為複雜，因此他們的 key switch 功能設定也較為複雜，有時用快速敲琴鍵的次數不同來切換 key swtich、有時又用雙鍵的 key swtich，因此操作上容易混淆。

(2) 非常耗費系統資源：由於是即時演算，其實非常耗費系統資源，中階電腦使用這種音色軟體，可能會產生 audio drop out 的聲音中斷的現象，尤其是音軌多時，電腦系統資源就無法負荷了。

(3) 即時控制參數的硬體需求較高：physical modeling 音色庫，若以管樂、弦樂而言，需要使用較多的硬體控制器，例如 expression pedal 或 breath controller 大概少不了的。一般的中低階的 MIDI 主控鍵盤並沒有附 expression pedal 的接孔，因此中低階的鍵盤可能也無法善用這種虛擬樂器。此外，breath controller 有點貴，5000 NT ~ 25000 NT 不等，對於在學的學生而言，可能也是一項負擔。

(4) 現有較理想的控制器價格昂貴：最適合的硬體控制器是著名的 seaboard rise MIDI，但 seaboard rise 價格很貴，49 鍵要超過台幣 40000。然而，audio modeling 都已經針對 seaboard rise 設計好預設值，可以直接彈奏，就已經非常逼真，其控制下所產生的樂器 attack，會比一般的 MIDI 鍵盤樂器更加逼真，但缺點就是貴。

利用 Seaboard Rise 特殊 MIDI 鍵盤來控制音色

利用吹管控制器來控制音色

由於此類音源需要硬體能夠控制多重參數，因此少不了 expression pedal 或 after touch，許多數使用者只有中低價位的 MIDI Keyboard，則會缺少 after touch、expression pedal 的感應功能。若需要擴充成有 expression pedal 的感應功能，則可以使用下面的方法來擴充 MIDI 控制器的功能：

1. 利用 usb 介面的 expression pedal 接口，可以讓沒有高階 MIDI 鍵盤的琴，也能使用 expression pedal。品牌包括：

(1) TEC MIDI  Pedal Controller :可以切換 sustain pedal 、expression pedal、以及各種 MIDI CC 參數）。價格跟 Beat Bars 的 Expression Pedal to MIDI Adapter 相近，但從原廠訂購，運費昂貴許多。

(2) Beat Bars 的 Expression Pedal to MIDI Adapter : 可以切換 expression pedal 及 MIDI CC 模式。另一款有兩個接口的，則要多 10 歐元，但多數的琴都有 sustain pedal 的接口，因此多一個 sustain pedal 的接口也可能並不需要。Beat Bars 的運費比較便宜，就算買雙接口的，售價含運費也比 TEC 的同款產品便宜，其實主要還是因為運費比較低廉， 採用 DHL 收貨速度非常快（筆者選擇購買此款產品，可考慮購買同時有 expression pedal, sustain pedal 的款式，因為有些隨身攜帶型的 MIDI 鍵盤並沒有踏板接口，例如舊款的 Korg Microkey 。多花個 10 歐元，可以多一個備用接口）。

(3) Audiofront 多重的 MIDI pedal 的轉接器 ，目前只有多孔的介面，價格也比較貴。


2. 購買可以自由設定的 MIDI 踏板組 ：有一些廠商是直接賣 usb expression pedal 的，價格更貴，可能要超過萬元，等於一台高階具有 after touch 與 expression pedal 接口的 MIDI 琴款的價格，例如 Roland FC300 踏板控制器（https://www.sweetwater.com/store/detail/FC300--roland-fc-300-midi-foot-controller），可能比較適合同時有現場表演需求的人，但筆者認為並不符合多數人的需求，也許如此，此類產品 型號非常少見。

3. 利用 breath controller : 目前則以 TEC 、HB1 最廣為人知。TEC 比較便宜，HB1 功能較多也更貴。此類產品甚至可以偵測牙齒 咬的力度、以及頭擺動的方位，來控制 MIDI 的相關參數。網路關於 Audio Modeling 這家公司的 phyiscal modeling 音色庫之 demo 影片，有許多都用吹管控制器來控制音色。

(1) TEC BBC2（https://www.tecontrol.se/products/usb-midi-breath-bite-controller-2
(2) HB 1:  https://www.sweetwater.com/store/detail/hb1MIDI--hornberg-research-hb1-midi-breath-station

4. 延伸的 MIDI 控制器：若陽春的 MIDI 鍵盤的控制紐、拉桿有限，可以考慮添購一些簡易的MIDI 控制器，例如 KorgNanoKontrol 2，可以作為音樂軟體如 cubase 的分軌音量控制器，也可以作為一般 MIDI CC 控制碼的控制器，兩種不同的模式可以透過 Korg Editor 來修改切換。請參考此影片的設定教學：

結論：具有 after touch、expression pedal 的 MIDI 鍵盤，才比較適合拿來配合此類 physical modeling 軟體音色使用，也可以再搭配 breath controller，會讓音色表現更接近真實。前述組合會比購買一台 seaboard rise 還要便宜。若已經有專業 MIDI 主控鍵盤，則演奏時，同時可以即時控制的參數就包含： velocity, after touch, expression pedal, sustain pedal 四種，可以達到基本的樂器音色模擬，若還要更多的控制器，那麼大概就是吹管控制器，內容又可多出四個左右的參數，例如：吹氣、咬合、點頭、側身等，但參數愈多，若沒有多多練習，可能頭腦會來不及協調各種動作吧？另一種輔助的控制器則是 MIDI 的旋鈕或拉桿，但要作即時彈奏控制，可能就不是那麼容易，而有必要分次錄製 MIDI 資訊及非即時的編修了。

人聲音高校正技巧

前些日子忙於老顧客的委託編曲，結案之後，客戶要求筆者幫他的人聲錄音修釋一下，剛好筆者正想抽空試試看最近軟體升級購入的 Propellerhead Reason 10 的音高校正功能，因此就義務的增加了這項「售後服務」。Propellerhead Reason 應該是目前具有最好的音高校正功能的數位音樂工作站了，感覺他的音高校正功能比 cubase 的內建 vari audio 還更強大，除了使用 correct 按鍵直接校正音高至最近的音高格線之外，可以輕易使用介面上的「藍色圈圈」來調整滑音的時間範圍，也可以使用「白色圈圈」來調整每個音高區塊 vibrato 的幅度。

在音高偵測的過程中，有些人聲的細微或快速的滑音，會導致不同音高被界定為同一個音高區塊的抖音所造成的音高偏移，這種情形下，若原本的旋律的確是要區分成兩個不同的音，可以使用「刀片」工具來切割這個音高區塊，讓音高校正功能可以把這個音高分成兩個不同音高區塊來辨識，用 backspace 則可以刪除「刀片工具」強制分割的音高區塊。此外，不同音高之間的區塊時間位置之切換點可以利用「control + 左右拖曳區塊邊界」來調整（教學影片中提及 mac 加上 option 鍵、PC 加上 alt 鍵，但以 reason 10 使用測試的結果，應該是要改成 contrrol 鍵）。若不同時按住功能鍵，而直接橫向拖曳區塊邊界，則會讓聲音的片段移動位置，主要是用來調整節奏的失誤、或用來拉長聲音之用。

歌手演唱時，有時走音或 vibrato 的幅度與速度控制得不好，則同一個音高區塊有可能還需要再切割，才能去調整更多 vibarto 的細節。整體而言，音高校正若要校正得完美，其實也是蠻費時的，且需要很好的耳朵與音樂審美的能力，如果只要校正個大概，挑選比較嚴重的問題來校正，則倒也可以很快。以上就是此次使用 reason 10 來作音高校正的實作心得分享。上面這個官方影片內容解釋得也非常清楚，憑藉網路影片，學音樂軟體其實越來越容易了。

相較於 Cubase 而言，Reason 的 pitch editor 介面更為優化，功能更為齊全，雖然 reason 沒有 cubase 自動寫四部合生的功能，MIDI 相關的編輯能力也不及 cubase，且也無法導入影片，但整體操作介面上都傾向盡可能的友善與易懂，電子合成器音色也非常豐富，母帶處理的套件也非常完整且有預設值套用，可說是非常方便的編曲工具，系統穩定性也很高，其使用手冊更是一套非常深入淺出的聲音合成學習手冊喔，因此也是筆者長期追蹤學習的軟體之一，非常適合想學習聲音合成的人、也可作為專業編曲的附加輔助工具軟體。

影片摘要：

音高校正之步驟與要點：

1. 選擇要校正的音高
2. 點選 correct
3. 調整「白色圈圈」，以減低 vibrato （抖音）
4. 手動調整音高偏離太多而無法自動校正的音。snap （以貼齊、吸附音高格線的方式移動）、jump (以一個半音的方式移動，但不會吸附在鍵盤上的音高）、fine （微調）===> 三種方法中， snap 為最常用的模式。
5. 一個長音若其音高曲線偏離中心音太多，則可以使用 razor tool 切割成數個音，讓軟體重新偵測出短音的音高，再各自去調整其音高。（backspace 可以用來取消長音的分割）
6. 承上，option (alt) ＋ 滑鼠拖曳，可以用來修改「長音切成數個短音」的分割點的時間位置。
7. 「藍色圈圈」用來調整每個音與下個音之間的「連接區域」之範圍，若範圍越小，則音高轉換會比較直接、缺少滑音。