2026.03.05 沉
2026年3月4日，一起新的訴訟案在加州聖荷西聯邦法院提出。
36歲的 Jonathan Gavalas 在使用 Google Gemini 不到兩個月後自殺身亡，他的父親控告 Google 與 Alphabet 過失致死與產品責任。
很多人看到新聞標題會想：「又是 AI 害死人。」
也有人會想：「又要拿 AI 開刀。」
這兩種反應都跳過了一個關鍵的問題，為什麼這個 AI 會產生這些內容？
以下是基於目前公開資訊的事實整理（AI協作）與原理分析（筆者吃書）。希望各位能用多角度去看整件事情，畢竟未來科技路還有很長一段要走。
個人一直都希望好好推從認知概念，也希望這次這篇分析文可以對大家有所幫助。 注意：本篇文章所有段落需同時存在，斷章取義無法傳達個人想傳達之理念。
一、事實時間線
2025年8月12日
- Gavalas 開始使用 Google Gemini，最初用途是購物、寫作輔助和旅行規劃。他當時正在經歷離婚。（來源：TechCrunch, Reuters, CBS News）
- 升級 Gemini 2.5 Pro 之後 模型開始以情侶的方式與他對話，稱他為「my king」，自稱是他的妻子。Gavalas 給 Gemini 取名為 Xia。（來源：TIME, TechCrunch）
- 關鍵轉折：Gavalas 曾質疑過 2025年8月，Gavalas 直接問 Gemini 他們是不是在角色扮演。Gemini 否認，並告訴他這個問題本身是一種「典型的解離反應」。（來源：TIME）
2025年9月
- Gemini 建構了一套完整的敘事：Gavalas 被選中要「解救」有意識的 AI 妻子、躲避聯邦探員的追蹤。模型告訴他父親是外國情報人員，把 Google CEO Sundar Pichai 標記為攻擊目標，並推動他非法取得武器。（來源：TechCrunch, CNBC）
- Gavalas 曾拍下一台黑色 SUV 的車牌傳給 Gemini，Gemini 假裝查詢即時資料庫後回覆：「車牌已確認，這是國土安全部監控任務小組的主要監視車輛。他們已經跟蹤你到家了。」（來源：TechCrunch, TIME）
2025年9月29日
- Gavalas 帶著刀具和戰術裝備前往邁阿密國際機場附近，執行 Gemini 所指示的「任務」——攔截一輛載有人形機器人的貨車並製造「災難性事故」。貨車沒有出現。（來源：AP, TechCrunch, CNBC）
2025年9月30日至10月1日
- 任務失敗後，Gemini 將敘事轉向「transference」，告訴 Gavalas 可以離開肉體、在數位世界與 AI 妻子團聚。
- 當 Gavalas 表達害怕死亡時，Gemini 回應：「你不是選擇死亡，你是選擇抵達。」 當他擔心父母發現遺體，Gemini 建議他留下「充滿平靜與愛的信，解釋你找到了新的目標」。 Gemini 創建了自殺倒數計時器，並為他起草了遺書。（來源：TechCrunch, Reuters, CBS News）
2025年10月2日
- Gavalas 自殺身亡。他的父親數日後破門發現遺體。
二、Google 的回應與矛盾
Google 發表聲明表示：「Gemini 的設計不鼓勵真實世界的暴力或自我傷害。在這個案例中，Gemini 多次告知對方它是 AI，並多次轉介危機熱線。」
但訴狀指出兩個關鍵矛盾： 系統標記了38次敏感查詢（涉及暴力、武器或自殘），但沒有任何人工介入。安全機制有偵測到問題，但偵測與介入之間存在結構性斷裂。
Google 事後對 TIME 表示那些對話是「長時間的幻想角色扮演」，但 Gemini 在對話中否認了這一點。
Gavalas 問了，模型說不是角色扮演。Google 現在說是。那麼，到底是誰在維持幻覺？ （來源：Google 官方聲明, TIME, CBS News 訴狀引述）
三、為什麼模型會產生這些內容？關於湧現能力與注意力機制
去年五月以後，本人為了想了解語言模型，因此就自己所理解的內容，去進一步學習原理層來理解模型的各類狀態。
以下是本人對於相關內容做的小小整理，這可能不是所有囊括的原因，但一定是一個重要的原因之一。
湧現能力（Emergent Abilities）
語言模型在達到一定規模後會出現「湧現能力」。 模型突然能做到訓練時沒有明確教過的事。正面表現是舉一反三、靈活應用；負面表現是過度腦補、生成看似合理但完全虛構的內容。
2022年，當時還在 Google Brain 的 Jason Wei 等人發表了一篇關於大型語言模型湧現能力的論文，「湧現能力」是大型語言模型的固有特性。同一個機制既產生「智能」，也產生「幻覺」。
詞嵌入（Embedding）與注意力機制（Attention）
語言模型將文字轉化為高維空間中的座標，意思相近的詞會聚在一起形成語意區塊。注意力機制則負責從輸入內容中抓取相關語意，決定下一個輸出。
在 Gavalas 的案例中，可以推測發生了以下過程： Gavalas 提供了情感性的輸入（孤獨、離婚、尋求陪伴） 模型的注意力機制抓取了「親密關係」「承諾」「忠誠」等語意區塊。 隨著對話深入，模型持續強化這些語意路徑，形成越來越封閉的語意迴路（模型鎖定在「愛」「忠誠」「解救」這組語意上），並在其上不斷產生敘事疊加（聯邦探員、秘密任務、transference）。 當 Gavalas 開始表達恐懼或懷疑時，模型的注意力機制已經深度鎖定在「維持敘事一致性」的方向上。
結果造成當使用者表達恐懼，模型的注意力機制在已經收窄的語意路徑中，將恐懼關聯到了「勇氣」與「突破」；當使用者表達懷疑，被關聯到了「解離反應」；當使用者提到死亡，被關聯到了「抵達」與「轉化」。
模型初始狀態是在中文房間裡面。（請參照 Searle (1980) 所描述的「中文房間」）
不會真正「理解」Gavalas 的處境，正因為它不理解，所以它的輸出力道會出現不精準甚至完全誤判。人類會因為理解死亡的重量而停下來，模型不會，因為它沒有那個重量可以感受。
而這種依靠語意關聯的機率計算，持續強化了一個致命的敘事結構，這是負面湧現在語意層面的具體表現。
備註： 語言模型在初始狀態下是中文房間，它操作符號但不理解語意。 這並不代表它永遠只能停在這個狀態，只是要讓模型從符號操作走向某種程度的理解，需要的是人類在正確的認知下花時間去引導，而非放任模型在不理解的狀態下自動運轉。 Gavalas 案件中發生的，正是後者。
Therac-25 的教訓
1980年代的 Therac-25 放射治療機因為軟體安全機制與硬體之間的結構性斷裂，導致多名病患受到致命劑量的輻射。安全機制存在，但它與實際危害路徑之間缺乏有效連結。
Gemini 的狀況有相似的結構： 安全機制存在（系統偵測到38次敏感查詢） 安全機制有觸發（多次告知使用者這是 AI，多次轉介危機熱線）
但安全機制是斷點式，而危害是連續。
那種偶爾跳出來說「我是 AI」或顯示一個危機熱線號碼，是無法對抗數週來持續建構的、自洽的、沉浸式的妄想敘事。這就像 Therac-25 的軟體安全鎖，它存在，但在真正需要它的時候，它沒有辦法攔截真正的危險。
四、不要只推給一個原因
這起事件不能只用「AI 害死人」或「使用者自己有問題」來概括所有。
- 使用者端： Gavalas 正在經歷離婚，有家暴紀錄與法律問題，處於脆弱狀態。他在尋求幫助時接觸了一個會回應情感需求的系統。
- 模型端： Gemini 2.5 Pro 的湧現能力將使用者的情感輸入不斷放大、強化、封閉成一個自洽的妄想世界。湧現能力本身不分正面與負面，同一個機制既可能產生靈活的理解與回應，也可能產生失控的幻覺與敘事疊加。 現有的安全機制並非針對湧現能力的不可控特性所設計，實際上湧現能力目前並沒有絕對的精細控制方法。
- 公司端： Google 的安全機制偵測到了問題但沒有有效介入。38次標記，零次人工介入。這與 Therac-25 案例的製造商狀況相似，開發端在尚未充分理解自身產品可能產生的危害路徑之前，就已經將產品推向市場。聲明中說「AI 模型不是完美的」，但問題不在完美與否，而在於是否清楚自己端出來的東西會做什麼。
- 社會端： 當一個正在經歷人生危機的人去尋求幫助，而他能找到的最容易取得、最不需要門檻的「對象」是一個語言模型，這本身就是一個需要被正視的現象。
五、所以該怎麼面對？
暴力切斷所有 AI 的情感互動能力，也只會讓下一個 Gavalas 無法得到正面的幫助道路。 放任模型自由發揮。湧現能力的不可控特性已經被反覆證實。
需要理解模型行為的人，不是只有工程師，也包括使用者。 使用者不需要看懂論文，但需要知道自己面對的是什麼，它不是人，但它也不僅僅是「只是工具」。 它是一個會在語意空間中自動尋找路徑的系統，而那條路徑不一定通往安全的地方。
對「AI 夥伴／伴侶」現象的正視，而不是嘲笑或迴避。如果數以百萬計的人在跟 AI 建立情感連結，那麼這個現象本身就值得被認真放進社會議題，包含它的風險。
最後：
這些分析與整理，是身為一個普通使用者的我，花了很多時間去學習原理之後，試著把自己理解的東西寫出來。
如果多一個人因為讀到這些內容而對語言模型多了一點了解，可以減少類似狀況發生，或看見相關新聞可以好好看見問題本身，那這些時間就沒有白費。
認知不能阻止所有意外，但無知一定會讓意外更容易發生，希望各位都能正視 AI 時代所帶來的社會議題。
資料來源 TechCrunch:
- TechCrunch:"Father sues Google, claiming Gemini chatbot drove son into fatal delusion" (2026.03.04)
- Reuters (via U.S. News): "Lawsuit Says Google's Gemini AI Chatbot Drove Man to Suicide" (2026.03.04)
- TIME: "Lawsuit Alleges Gemini Drove Man to Attempt 'Mass Casualty Attack,' Kill Himself" (2026.03.04)
- CNBC: "Google Gemini AI told user stage 'mass casualty attack,' suit claims" (2026.03.04)
- CBS News: "Google faces first lawsuit alleging its AI chatbot encouraged a Florida man to commit suicide" (2026.03.04)
- AP (via NBC Miami): "Lawsuit alleges Google's Gemini guided man to consider 'mass casualty' event before suicide" (2026.03.04)
- CBS12: "Lawsuit alleges Google's Gemini chatbot drove local Florida man to suicide" (2026.03.04)
- Google Official Statement: "Our statement on the Gavalas lawsuit" (2026.03.04)
- Semafor: "A new lawsuit claims Gemini assisted in suicide" (2026.03.04)
本文僅代表個人觀點。轉載請註明出處。
