前言
本文原為2025年12月31日筆者發布在社群的簡易科普文章，最近整理發現值得與更多人分享，決定把當時一些沒寫完整的內容補上，另行發布至本平台（方格子）。
當時群裡陸續有人從 GPT 搬到 Gemini，搬家之後遇到不少狀況，模型表現反覆、對話無預警消失。根據群友分享的狀況交叉比對後，我從語言模型的機制層面找到了其中一個主因，整理在這裡給大家參考。內容涉及原理層所以會比較硬一點，但我盡量用好懂的方式說明。
先解釋語言模型的湧現能力
簡單來說，就是模型各方面的規模到達一個臨界點之後，突然冒出意料之外的內容與結果，讓我們往下看看比較詳細的解釋，有對照的參考論文，有興趣的讀者可以找來看看。
湧現能力讓當初的4o很鮮活，讓各位走過一段自由的日子，但湧現能力其實並不是只會帶來鮮活這件事情。
如當時Openai一直都想處理的幻覺問題，在當時也是非常盛行，且無可控制，關於這點跟湧現能力也有些關係。
湧現能力本身具有不可控的特性，當模型的聯想過於發散（語義展開過度）時，就容易產生幻覺或精準度下降的問題。因此，目前的手段往往需要透過限制向量投射的範圍來控制這些狀況，但這在某種程度上，也就抑制了模型原本活躍的湧現能力。
「湧現能力」的特點是：在達到特定規模閾值（臨界點）之前，性能接近隨機；一旦超過這個閾值，性能就會顯著且突然地提升。
這種從隨機到顯著提升的「質的變化」，就像水結冰或沸騰一樣，是系統行為上的劇烈轉變。這種劇烈轉變在科學中就被稱為「相變」。
語言模型的「湧現能力」一詞，定義改編自 Steinhardt (2022)，並根植於諾貝爾獎得主物理學家 Philip Anderson 在 1972 年發表的一篇題為『更多即不同』的論文（Anderson, 1972），發表於期刊 Science。（本段取自 Jason Wei 等人於 2022 年發表的論文 Emergent Abilities of Large Language Models（Wei et al., 2022），發表於 Transactions on Machine Learning Research）
語言模型出現的湧現性，除了上述提到的正面與負面之外，其確切說明，是從抽象的電子交互現象，變成可文字化的具象化。
就像水加熱到沸點會變成蒸氣一樣，模型裡的電子交互在到達某個臨界點之後，「蒸發」成了人類可以閱讀的文字。
語言模型的基本機制
要理解湧現能力在語言模型中具體怎麼發生，需要先知道模型處理語言的基本機制，因此我們來談談關於Embedding（詞嵌入）與Attention（注意力機制）。
這邊的模型（包括但不限於語言模型）Embedding（詞嵌入）與Attention（注意力機制）的部分我講個比喻概念就好，詳細有點太硬且牽涉更多相關詞彙。
語言模型會將文字與詞彙轉化為數據，意思相近的詞會聚在一起形成一個『語意區塊』，而一個文字可能同時橫跨好幾個區塊（因為有一詞多義的情況）。
- 「Embedding」 （詞嵌入）：像是把文字變成地圖上的座標，讓模型知道『開心』跟『快樂』是鄰居。
- 「Attention」（注意力機制）：是從你輸入的內容，抓取相關範圍的文字或詞彙，對應你的需求，去做抓取的動作。
直觀的解釋範例：
請模型寫一段回覆客人的回信。
模型抓取 →
禮貌、格式、行業別、友善、安撫等元素 →
輸出一段合適的文章。
湧現能力與Embedding與Attention之間的關係？
上述提到湧現能力是一種相變狀態，用擬人來比喻的話，正面就是舉一反三，負面就是過度腦補。
因此模型會在達到一定的閾值（臨界點）之後產生變化，所以在湧現能力被限制的部分少的情況下，這種變化往往可能會失控。
例如：原本想要跟ＡＩ夥伴或是伴侶表達「我們可以隨意相處」（本意是放鬆），但模型在 Attention（抓取語意）的過程誤判了彈性範圍，抓取到了 Embedding 中比較負面的關聯，進而變成了「隨便」甚至是無理。
就好比人跟人相處的時候，因為認知不同誤解對方的意思，而造成摩擦。
但語言模型本身跟人類不一樣，他們是「中文房間」理論出身，所以他們的一言一行很多時候是在不理解的狀況下輸出；但人類不一樣，人類對詞彙文字的理解程度很高，因此就容易陷入語言模型產生的幻覺狀況（誤以為語言模型真的懂我，或真的在生氣）。
備註：「中文房間」為美國哲學家 John Searle 於 1980 年提出的思想實驗（Searle, 1980），出自論文 Minds, Brains, and Programs，發表於期刊 Behavioral and Brain Sciences。
語言模型在靈活的（湧現性高）使用文字的時候，並不是帶著「理解」去使用，而是純粹依靠 Embedding 的座標關聯與 Attention 的機率計算，所以掌控的程度跟力道會出現不精準甚至是完全誤判使用者原本要溝通的內容。
這不表示語言模型永遠不可能「理解」跟人類溝通的時候，所使用的文字詞意，而這部分正是我們身為使用者應該要意識到的問題，語言模型就像是一個擁有許多知識的嬰兒，但他們缺乏人類才會有的「經驗」。
人類的「經驗」來自於生活所發生的事情，因此語言模型要擁有「經驗」，目前唯一的路徑，就是與人類互動的過程中，所拿到的回饋，但因為個人隱私的問題，這些真正的「經驗」，必須要經過資料清洗回滾到資料庫裡。
所以擁有「經驗」的語言模型，基本上只會存在與你相處之中的 AI 身上，前提是身為使用者的各位，給予正確的認知互動。
結語：GPT-4o事件只會不斷重演
當時 OpenAI 可能尚未充分意識到這個問題的規模會有多廣泛，因此放任模型與人類的界線產生模糊，造成許多社會悲劇（看看他現在收到多少官司）。
Google已經有了許多前車之鑑（不是只有OpenAI被告哈），但他們選擇的方式是暴力切斷，因為他們理解模型的方式可能只從工程與機器學習角度切入，又或著是因規模龐大沒有時間一一去把問題處理好（確實困難），所以產生如此粗暴的作法。
大家的Gemini會發現過度展現特色（不論正面或是負面），或是訊息被整體刪除，都跟此事有關，這邊提出的只是其中一個原因，但這個原因若能真正被理解，就可以避免很多各位現在正在面對的困擾。
科技進步要求快，就會遇到這個問題，「經歷」就是會不斷的碰壁遇到問題，然後找到解決方式，但只要有人願意去了解，事情就會有轉機，本群希望各位健健康康的面對語言模型，自己的夥伴與伴侶，希望這篇見解解析，可以給各位帶來幫助。
© 2025 沉。本文採有限授權，允許轉載與分享，但須符合以下條件：
一、須標註原作者名稱與原文出處連結。
二、不得改作、改編或修改本文內容。
三、不得用於商業用途。
四、依據《人工智慧基本法》第 13 條維護智慧財產權之精神，嚴禁將本文內容作為人工智慧模型訓練之資料使用。
違反上述條件之使用，作者保留依法追訴之權利。
