1.1 聲音生成已成為生成式 AI 的重要分支
假設我們面前有兩個看似毫不相關的場景。第一個場景裡，一位使用者在手機上輸入一句話，幾秒鐘之後，系統便用近乎自然的人聲把它朗讀出來；第二個場景裡，一位創作者輸入「深夜港口、遠處霧笛、低沉而帶懸疑感的配樂」，不久之後，一段帶有空間感與情緒氛圍的聲音便被自動生成。這兩個場景在表面上屬於不同的程式應用世界：前者像是語音助理或有聲書，後者像是音效設計或音樂創作。但從人工智慧的角度來看，它們其實是共享一個核心技術：機器如何學會把某種條件：文字、語境、風格、角色、情緒，轉換為一段可以被人耳辨識、理解、甚至感受的聲音。
這正是「聲音生成」（audio generation）的問題，也是生成式 AI 在近年快速擴張的一條重要路線。過去幾年，社會大眾對生成式 AI 的認識主要是從文字與影像開始的：大型語言模型讓人們看到機器可以生成段落、摘要、程式與對話；影像模型則進一步展示了機器能夠根據文字描述產生逼真的圖像。然而，假使我們只把生成式 AI 理解為「會寫字」或「會畫圖」的系統，那麼對這場技術變革的理解其實仍然是不完整的。聲音的生成，同樣是生成式 AI 的核心戰場，而且它牽涉到的，不只是另一種媒介而已，而是另一種時間性的、具身性的、與人類溝通極為接近的資訊形式。
要理解這一點，我們必須先看到「聲音」在 AI 中並不是單一任務。它至少包含幾個彼此相關、但技術目標並不完全相同的子領域。最熟悉的一類是文字轉語音（text-to-speech, TTS）：給模型一段文字，讓它產生可以理解、自然、流暢的語音。第二類是語音複製或語者模仿（voice cloning）：給模型一小段參考聲音，讓它學會某個人的音色、說話方式或聲紋特徵。第三類是語音轉語音（speech-to-speech, voice conversion）：保留原本語音的內容，但改變說話者身份、語言、情緒或風格。第四類是文字轉音樂（text-to-music）與文字轉音訊（text-to-audio）：模型不再只處理聽得懂的語言，而是生成旋律、和聲、節奏、環境聲、材質感與聲景結構。第五類則是各種音訊修復與增強任務，例如降噪、補全、音源分離、去混響與超解析。這些任務的輸入條件、模型目標與評估方式並不相同，但它們都屬於一個更大的問題家族：如何讓機器學習聲音的規律，並且以可控制的方式重新生成它。
從應用的層面來看，聲音生成技術滲透到生活的其實比多數人意識到的更為廣泛。導航系統的提示音、客服電話中的自動應答、影片自動配音、遊戲中的角色對話、有聲書朗讀、無障礙工具中的語音輸出、即時翻譯中的聲音保留、虛擬角色的情感互動，背後都可能依賴聲音生成技術。甚至在許多情況下，使用者未必會意識到自己正在與一套聲音生成系統互動，因為聲音的頂級表現往往不是「令人驚豔」，而是「令人忘記它是生成的」。這也是聲音生成與影像生成的一個重要差異：影像常常在視覺上強調其新奇性，聲音卻更常追求自然地融入人們的日常互動之中。
不過，聲音生成之所以值得從人工智慧的角度單獨討論，還有另一個更重要的理由：聲音不是靜態物件，而是沿著時間展開的動態結構。一張圖片可以在同一瞬間呈現整體構圖，但一段語音或音樂必須隨著時間逐步被感知。它有開始、有延續、有節奏、有轉折；它既包含瞬時的頻率結構，也包含跨越更長時間範圍的韻律與形式。這意味著，生成聲音不是單純把正確的元素「放上去」就好，而是要讓這些元素在時間中以合理的方式發生。模型不只要生成某個時刻的聲音，還要生成這段聲音接下來應該如何變化。正因為如此，聲音生成天然就與序列建模、時間依賴、條件控制與感知評估等技術緊密相連。
在人工智慧的技術史上，過去十年確實是一個關鍵轉折期。以語音合成為例，早期系統多半高度依賴人工規則、文本前處理與拼接式或統計式模組；但 2016 年的 WaveNet 展示了直接對原始波形進行生成建模的可能性，2017 年的 Tacotron 則進一步推動了端到端語音合成的想像：文字不再需要經過大量手工拆解後才進入後端模組，而是可以透過神經網路直接學習從文字到聲學表示的映射。這條路線後來又經過非自回歸 TTS、神經聲碼器、整合式模型與多模態語音系統的發展，使得聲音生成從「可以工作」走向「可以自然使用」，從實驗室能力逐漸變成產品能力。
因此，當我們說聲音生成已成為生成式 AI 的重要分支，意思並不只是「AI 也會做聲音了」，而是：聲音已經成為生成式模型競逐的一個核心場域。在這個場域中，模型不僅要處理語言，還要處理聲紋、音色、韻律、節奏、空間感與情緒；不僅要追求可理解度，還要追求自然度、真實感與可控性；不僅要能離線生成，還要逐漸邁向即時互動。換句話說，聲音生成讓我們看見生成式 AI 不是只在「產出內容」，而是在逐步進入更複雜的人機溝通的結構之中。
1.2 從「聲音作品」轉向「聲音模型」
如果說上一節說明的是「聲音生成為什麼重要」，那麼這一節要處理的問題是：我們究竟應該用什麼觀點來理解它？要真正理解 AI 時代的聲音生成，最關鍵的一步，並不是先去認識某一個熱門工具，而是先完成一個視角上的轉換：從把聲音看成一個已完成的作品，轉向把聲音看成一種可以被建模、壓縮、表示、預測與再生成的結構。
在傳統的創作與製作脈絡中，聲音通常被理解為結果。歌手唱出一段旋律，錄音師把它錄下；配音員說出一句台詞，工程師把它剪輯、降噪、混音；作曲家安排和聲與配器，製作人把它編成一首歌。在這些脈絡中，聲音的品質確實取決於人的表演、技術、設備與流程控制。聲音是一件被製造出來的作品，它帶有創作、選擇與實作的痕跡。
但在機器學習的視角下，問題的形式變了。系統不先問「這句話應該由誰來說」，而是先問「這類聲音資料中有哪些可學習的統計規律」；它不先問「這段旋律要怎麼演」，而是先問「在大量相似資料中，某種風格、節奏與配器的分布是什麼」。也就是說，在 AI 系統裡，聲音首先不是作品，而是資料；更進一步說，它不是任意資料，而是可以被轉換成數學表徵、可以被模型壓縮成內部向量、可以在條件控制下被重新展開的資料。這就是為什麼本文後續會花很多篇幅討論聲音表徵、潛在空間、生成模型與聲碼器。因為對 AI 來說，生成聲音的前提不是「先有聲音」，而是「先有對聲音的可計算表徵」。
這裡可以用一個簡單的例子來幫我們建立一個直觀的認識。假設我們希望系統說出同一句話：「歡迎來到本單元內容介紹。」在傳統方法下，我們可能需要找一位配音員把這句話錄出來，或者從大量預錄片段中把它拼接出來。可是在現代生成模型下，系統的想法不是「我是否已經錄過這句話」，而是「我是否已經學會：中文字或音素序列如何對應到聲學模式、韻律安排與最終波形」。一旦學會這種映射，它就不需要這句話曾經被完整錄製過；它只需要在已學會的分布中，為這句新的輸入找到合理的輸出。這就是模型化的意義：不是記住作品，而是學會產生作品的規律。
更進一步地說，模型化還意味著「聲音」被拆解成多個可以分別建模的部分。對人耳來說，我們聽到的是一個整體：一句話既有內容，也有聲音的身份，還有情緒、語速、停頓、重音與空間感。但對模型來說，這些成分常常必須以不同的方式來表示。例如，一段語音可能同時包含「語意內容」、「說話者特徵」、「韻律模式」、「環境條件」等不同層次的資訊。但是模型如果能夠把這些成分在內部表徵中相對分離，我們就能做很多過去很難做到的事，例如：保留說話內容但是換一個聲音；保留聲音身份但是改變情緒；保留旋律結構但是更換音色；保留音樂風格但是生成新的段落。從這個角度來看，生成並不是憑空創造，而是對已學會的表徵進行的一種操作。
這也是為什麼 AI 時代的核心改變，不只是「聲音做得更像真人」，而是「聲音開始以模型的形式被儲存與操作」。我們不再只是收藏一段錄音，而是可能收藏一個語者嵌入、一組潛在向量、一套聲碼器權重、一個條件生成管線。這些東西在感知上不像傳統作品那樣直觀，卻構成了當代聲音技術真正的基礎設施。對一般使用者而言，這些基礎設施常被包裝在簡潔的介面後面；但對想要理解工具能力界限的人而言，這些模型層次才是最重要的。
因此，從「聲音作品」轉向「聲音模型」，不是一句抽象口號，而是一個對整本書都具有方法論意義的起點。它提醒我們：聲音AI 的問題從來不只是「怎麼做出一段聲音」，而是「如何把聲音轉換成一種可學習、可控制、可重組的表示」。只有先理解這一點，後面關於表徵、生成架構、語者嵌入、音訊 token 與整合式大模型的討論，才會真正連成一條知識的路線。
1.3 本文的問題意識
在完成了上述視角的轉換之後，我們就可以更清楚地提出本文真正要回答的問題。這些問題表面上看起來是技術性的，但它們其實也構成了一條非常適合學習的知識路線：機器怎麼把聲音變成資料？怎麼從資料中學會規律？又怎麼把已學會的規律變成實際可用的系統能力？
第一個核心問題是：AI 如何表示聲音？
這個問題之所以重要，是因為聲音本身是連續的物理振動，而電腦能夠處理的則是離散的數位資料。從空氣壓力的變化，到儲存在記憶體中的數字序列，中間必然要經過一連串的轉換。這些轉換不是中性的，它們會改變模型所看到的世界。假設我們把同一段語音交給兩個模型：一個模型看到的是原始波形，另一個模型看到的是 Mel 頻譜圖。對人來說，兩者描述的是同一段聲音；但對模型來說，這幾乎就是兩個不同的學習問題。前者保留了最完整的訊號細節，但資料量龐大、時序極長；後者則把聲音壓縮成較容易處理的時頻表示，犧牲部分資訊，換取更穩定的學習條件。這就是為什麼接下來的第二章要從聲音的物理基礎、數位化過程與表徵方式開始討論：因為在聲音 AI 裡，表徵的選擇往往先於模型的選擇。
第二個核心問題是：AI 如何學習聲音中的規律？
如果表徵處理的是「我們把什麼交給模型看」，那麼學習處理的就是「模型如何從中找出結構」。這件事情並不如一般想像中那麼的簡單，因為聲音是一種多層次的訊號。以一段人聲為例，它同時包含了內容層次的資訊：說了哪些字、屬於哪種語言；也包含說話者層次的資訊：這是誰的聲音、音色有何特徵；還包含韻律層次的資訊：重音、停頓、語速、情緒；甚至還可能包含背景環境與空間特性。人類往往能在瞬間就把這些層次整合起來，但模型必須在訓練中逐步學會：哪些變化與語意有關，哪些變化與說話者有關，哪些變化只是背景噪音或錄音條件。深度學習的重要貢獻之一，就是讓模型能夠不完全依賴人工設計特徵，而是從大量資料中自動形成較高層的表示。這正是第三章要處理的表徵學習與潛在空間問題。
第三個核心問題是：常見的聲音生成工具，背後到底依賴哪些技術架構？
這個問題對今天的讀者尤其重要，因為我們接觸聲音 AI 的方式，往往不是從論文開始，而是從工具開始。市面上的產品宣稱很多厲害的功能：有人說只要幾秒就能複製你的聲音，有人說輸入一段描述就能生成電影配樂，有人說能夠即時翻譯並保留你的音色與情緒。這些能力並不是由單一「萬能技術」提供，而是由不同架構路線支撐的。例如，自回歸模型往往品質高但速度慢；非自回歸模型速度快但需要解決穩定性與細節問題；擴散模型擅長高品質生成但推論成本較高；離散 token 模型則把音訊問題重新表述成類語言建模問題。不同架構的設計邏輯，直接決定了工具在自然度、延遲、可控性與部署複雜度上的差異。這就是為什麼本文不會停留在產品表面的功能列舉，而要一路追問到背後的模型選擇。
如果把這三個問題放在一起看，我們會發現它們其實形成了一條非常清晰的因果鏈。首先，系統必須決定如何表示聲音；其次，它必須在這些表示上學會有用的內部結構；最後，它才有可能把這些結構用於實際的生成任務。換句話說，沒有表徵，就沒有可學的資料；沒有學到的表示，就沒有穩定的生成；沒有生成架構的設計，就沒有可用的工具能力。這條邏輯鏈，也就是本書的基本寫作路線。
還有一點必須在一開始就說明清楚：本文雖然談的是「如何生成聲音」，但目的不是把技術神祕化，更不是把工具操作寫成產品導覽。相反地，本文的目標是在建立判斷力。當讀者理解了表徵、模型、聲碼器、語者嵌入、token 化、擴散與評估之間的關係之後，他在面對任何新工具時，都能問出更精確的問題：它是在哪一層做控制？它依賴哪類訓練資料？它可能在哪些條件下失效？它宣稱的「擬真」究竟是音色擬真、語意擬真，還是韻律擬真？而這種判斷力，正是一本原理介紹書應該提供的能力。
1.4 本文結構
基於上述的問題意識，本文全書共分為十七章，並依照「從基礎表示到系統理解，再到治理與未來」的順序展開。這樣的安排不是為了形式上的完整，而是因為聲音 AI 的理解具有很強的依賴關係：後面的議題若沒有前面的概念作支撐，就很容易變成只記得名詞而不懂原理。
第二章與第三章構成全書的理論地基。第二章討論聲音如何被數位化與表示：波形、頻率、頻譜、Mel 尺度、MFCC、離散 token 等概念，會在這一部分建立。第三章則進一步把問題推向表示學習：模型如何從複雜聲音中抽取多層次特徵，如何形成潛在空間，為什麼「音色相似」、「情緒接近」、「語者可內插」這些問題，在模型中會對應成向量空間中的幾何關係。
第四章到第六章處理的是技術架構的歷史演進與核心原理。第四章回顧從拼接式系統、統計式參數模型到深度學習轉折點的歷史。第五章會聚焦在深度學習時代的語音生成系統，介紹端到端 TTS、聲學模型、神經聲碼器、韻律控制與整合式模型。第六章則把鏡頭拉得更廣，從生成式模型的一般原理出發，整理自回歸模型、VAE、GAN、Flow、Diffusion 與 Transformer 音訊 token 模型之間的差異。讀者讀到這裡時，應該已經能把「某個聲音生成為什麼很自然」這件事，以背後一連串具體的模型設計選擇來進行說明了。
第七章到第十三章則是從「原理」走向「任務與系統」。第七章總覽聲音生成的主要任務類型，例如 TTS、speech-to-speech、text-to-audio、text-to-music 與音訊增強。第八章進一步拆解語音生成中的關鍵模組：文字前處理、語者嵌入、韻律建模與聲碼器。第九章聚焦於語音複製與語音轉換，回答一個大眾最關心的問題：為什麼 AI 看起來能模仿某個人的聲音？第十章與第十一章則分別處理音樂與音效／環境音的生成，說明它們與語音生成雖然共享部分方法，但在結構、評估與控制條件上有其獨特的困難。第十二章則會進入到近年最前沿的音訊語言模型，討論當聲音不再只是單點工具，而是被整合進大型多模態模型後，系統能力發生了什麼變化。第十三章則把前面所有技術路線會彙整成「市場上常見工具的技術地圖」，幫助讀者建立從產品表面回推模型結構的能力。
第十四章到第十六章把重心轉向系統實作、評估與治理。第十四章會回答一個常被忽略但極為重要的問題：聲音模型究竟是怎麼被做出來的？資料規模、標註方式、GPU 成本與評估指標，都會是本章的焦點。第十五章處理AI聲音生成的限制、風險與倫理，包括 deepfake voice、資料授權、聲紋權、偏差與不平等。第十六章則展望未來發展，討論即時語音代理、情緒可控生成、多模態聯合生成、個人化聲音模型與「聲音作業系統」的可能形態。
最後，第十七章會回到全書最初的立場：理解原理，才能真正理解工具。這一章的任務不是重複前文，而是把全書串連起來，指出聲音 AI 之所以值得被當作一個獨立的案例深入研究，是因為它幾乎濃縮了生成式 AI 的所有一般邏輯：資料表徵、機率建模、條件控制、系統部署、風險治理與社會後果，全部都在其中。
因此，讀這本書最好的方式，並不是把它當作一本工具操作手冊，而是把它當作一張地圖。這張地圖會帶領我們從最基本的聲音表示出發，走到最複雜的整合式音訊模型，最後再回到制度、法律與治理問題。也正因如此，在進入下一章之前，我們需要先接受一個很重要的學習前提：後面許多看似高階的能力，其實都建立在一個樸素但關鍵的問題上——電腦到底是如何「看見」聲音的？
延伸閱讀
本章涉及的技術背景，讀者可參閱以下資料進行深入了解：
Taylor, P. (2009). Text-to-speech synthesis. Cambridge University Press.（語音合成領域的標準教科書，涵蓋從早期規則系統到統計方法的完整歷史）
Jurafsky, D., & Martin, J. H. (2026). Speech and language processing (3rd ed. draft, Jan. 6 release). Stanford University. https://web.stanford.edu/~jurafsky/slp3/（語音與語言處理的廣泛參考；截至 2026 年 1 月仍持續更新中）
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.（深度學習的標準教科書，為後續章節的技術說明提供數學基礎）
van den Oord, A., Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., Kalchbrenner, N., Senior, A., & Kavukcuoglu, K. (2016). WaveNet: A generative model for raw audio. arXiv preprint arXiv:1609.03499.（現代神經網路語音合成的奠基性工作之一）
Wang, Y., Skerry-Ryan, R. J., Stanton, D., Wu, Y., Weiss, R. J., Jaitly, N., Yang, Z., Xiao, Y., Chen, Z., Bengio, S., Le, Q., Agiomyrgiannakis, Y., Clark, R., & Saurous, R. A. (2017). Tacotron: Towards end-to-end speech synthesis. In Proceedings of Interspeech 2017 (pp. 4006–4010).（端到端語音合成的代表性工作）
