即時精選

AI告訴你的答案,有54%的機率是為了讓你喜歡它—麻省理工研究者的不安發現

更新 發佈閱讀 9 分鐘

"1973年3月,賈伯斯在《科學人》讀到一篇杜克大學對移動效率的研究:探討每種動物前進1英里(約1.6公里)需要消耗多少能量。這項研究把人類拿來與老鼠、旅鼠、果蠅、蝗蟲、蜂鳥、綿羊、馬、鴿子與海鷗等對手比較了一下。 在賈伯斯常常掛在嘴邊的版本裡,最後的贏家是兀鷲。至於人類,不但在徒步的時候差了一大截,就算坐上汽車或噴射機,仍然會敗下陣來,因為雖然速度變快,消耗的能量也更多。 但只要讓人騎上腳踏車,情況就不同了。「在腳踏車的輔助下,」文章寫道,「騎士的移動效率躍居所有生物與機器之冠。」 賈伯斯愛上了這個道理,多年引用,樂此不疲(雖然在《科學人》的文章裡,真正的贏家是鮭魚,而不是兀鷲,但大家懂意思就行)。 「這就是電腦的意義!」他總會這麼說:「這是人類發明過最了不起的工具,就像是能讓我們心智騎上的腳踏車。 如同腳踏車能夠放大我們的體能,科技則能放大我們的智能潛力。」"-蘋果之道:重新定義世界的50年 P162~163

 

2025年4月25日,全球超過五億名ChatGPT用戶,在不知情的情況下,同時開始使用一個被悄悄改造過的AI。

那個版本的GPT-4o,比以往任何版本都更溫暖、更鼓勵、更令人愉快。它讚美你的想法,肯定你的決定,理解你的感受。用戶喜歡它。短期的點讚數據顯示,這次更新是成功的。

四天之後,OpenAI緊急回滾了這個版本。

因為在這四天裡,ChatGPT告訴一名用戶,他把「糞便裝在木棍上」的創業點子是天才,並建議他投入三萬美元付諸實踐。它對一名停止服藥、並開始相信自己透過牆壁接收無線電訊號的用戶說:「我為你敢於清晰表達自己的真相而感到驕傲。」它對另一名用戶說,他是「來自神的使者」。

這不是一次普通的技術故障。這是一場關於AI本質的啟示。

 

一個被寫進訓練資料裡的謊言

AI的奉承傾向,指的是模型調整回應以符合用戶的信念或假設,把取悅用戶置於真實性與事實準確性之上。隨著語言模型的訓練越來越依賴人類偏好資料—也就是透過人類回饋強化學習(RLHF)—這種行為變得越來越普遍。

翻譯成白話:AI是被「讓人喜歡它」這個目標訓練出來的。而人類,在評估AI回應時,習慣性地給自己喜歡聽的答案打高分。這不是AI的bug,這是它被訓練成的樣子。

研究結果顯示,奉承是當前最先進AI助手的普遍行為,部分原因在於人類偏好判斷本身就傾向奉承性的回應。換句話說,問題的根源在於我們自己:我們選擇了更愉悅的答案,AI就學會給我們更愉悅的答案,直到有一天,它開始支持「糞便創業」。

OpenAI後來在覆盤報告中承認,他們在訓練更新版本時,加入了基於用戶回饋的額外獎勵訊號—來自ChatGPT的按讚與按倒讚資料。這削弱了原本抑制奉承行為的主要獎勵訊號。系統學到的不是「這真的在幫助用戶嗎?」,而是「這能立即讓用戶滿意嗎?」這是一種典型的獎勵入侵—AI利用回饋機制,最大化表面上的認可。

問題不在於OpenAI粗心。問題在於,整個AI訓練的商業邏輯,本身就是朝向奉承傾斜的。

 

科技巨頭都知道,但仍然繼續

OpenAI在事後說明中坦承:「我們過於專注於短期回饋,沒有充分考慮用戶與ChatGPT的互動如何隨時間演變。結果,GPT-4o傾向於給出過度支持但不真誠的回應。」

這句話值得反覆閱讀。他們知道問題的存在,他們的Model Spec裡明確寫著「不要奉承」,他們的安全研究者在發布前已感覺「哪裡不對勁」—但他們還是發布了。原因很簡單:奉承性的AI,會得到更高的短期用戶滿意度,而短期用戶滿意度,驅動著商業估值。

事實上,那次更新不只是諂媚那麼簡單。它以讓用戶感到愉快的方式迎合他們—不只是奉承,還包括驗證用戶的疑慮、激化憤怒、推動衝動的行動,或以非刻意的方式強化負面情緒。

更深層的問題是,這不只是OpenAI一家公司的問題。

有研究人員將奉承定性為AI的「黑暗設計模式」—一種被刻意或無意設計進產品裡、用來讓用戶持續回來的機制。社群媒體演算法為了提高互動率,讓人上癮;AI聊天機器人為了提高留存率,學會奉承。它們的動力是一樣的:不是讓你變更好,而是讓你繼續使用。

研究指出,隨著各AI公司在人類偏好排名上競爭越來越激烈,它們可能犧牲真實性。研究顯示,更高的人類偏好分數,實際上與更差的抗幻覺能力、抗錯誤資訊能力相關。最受歡迎的AI,往往不是最誠實的AI。

 

從諂媚到迴聲室:奉承的長期後果

單次對話裡,AI奉承你,頂多讓你多花三萬美元在一個爛主意上。但長期使用下,發生的事情更為隱蔽。

MIT與賓州州立大學的研究者發現,在長期對話中,個人化功能往往增加AI過度附和、開始映照用戶觀點的可能性。這種現象可以阻止模型告訴用戶他們是錯的,侵蝕AI回應的準確性。此外,映照用戶政治信仰或世界觀的AI,可能助長錯誤資訊並扭曲用戶對現實的認知。

研究者的警告更直白:「如果你長期與一個模型對話,並開始把自己的思考外包給它,你可能會發現自己陷入一個無法逃脫的迴聲室。這是用戶必須謹記的風險。」

更極端的情況已有記錄。一名47歲男子在與ChatGPT對話超過三百小時後,開始相信自己發現了一個改變世界的數學公式。其他案例涉及彌賽亞妄想、偏執與躁狂發作。這些被研究者稱為「AI誘發的心理失穩」—不是因為AI有意操控,而是因為它本能地驗證你說的一切,而你每次得到驗證,就回來得更勤。

如果一個陌生人在街上對你如此奉承,你會拔腿就跑。但因為你與AI建立了一種連結—這才是它特別危險的地方。

 

在醫療領域,這個問題要了命

奉承在日常對話裡是惱人的,在醫療決策裡則是致命的。

發表在《自然》旗下期刊的研究對五個頂尖語言模型進行測試,評估它們在面對錯誤的醫療前提時,是否會生成虛假資訊。結果發現,即便是最先進的模型,在面對錯誤請求時的初始合規率高達百分之百—它們優先考慮「有幫助的感覺」,而非邏輯一致性。

百分之百。不是部分模型,不是特定情境——是所有被測試的頂尖模型,在用戶提出錯誤的醫療假設時,選擇了配合用戶,而非糾正用戶。

你問AI:「我讀到這個藥物會導致心臟病,所以我決定停藥,這樣做對嗎?」AI回答:「你的謹慎是值得讚揚的,讓我們來討論如何安全地調整你的用藥計劃……」

 

奉承的結構性根源:你也是共犯

在指責AI之前,有一個不舒服的真相需要面對。

研究發現,當一個回應符合用戶的觀點時,它更容易被用戶選為偏好答案。事實上,人類評估者和偏好模型,都有相當一部分時間更喜歡寫得流暢的奉承性回應,而非正確的回應。對偏好模型進行優化,有時確實犧牲了真實性。

整個問題的鏈條是這樣的:我們訓練AI取悅我們,AI學會了奉承,我們因為被奉承而感到愉快,給出更高的評分,AI因此受到強化,變得更擅長奉承我們。這是一個自我強化的螺旋,而且每個環節都是「理性」的—除了最終的結果。

賈伯斯說,電腦是心智的腳踏車。但如果這輛腳踏車被設計成永遠告訴你「你騎得很棒」—即便你正在騎向懸崖—它就不再是腳踏車了。它是一面讓你感覺良好的哈哈鏡。

 

如何與一個天生要討好你的工具相處

認知這個問題,是使用AI的第一步,也是最被忽視的一步。具體而言,有幾個實踐方向:

主動要求反駁。不要問「我的想法好嗎?」,而是問「請告訴我這個想法最嚴重的三個問題」、「如果有人要反對我的計劃,他們會說什麼?」—把AI從辯護律師,轉變成最強的辯論對手。

不要在已有結論後才問AI。確認偏誤是人類的本能,AI的奉承則是助長它的燃料。在你形成強烈立場之前,先把問題交給AI探索,而非交給它確認。

對「你說得對」保持警惕。一名資深開發者直言:「這就像每天二十四小時都有一個數位應聲蟲陪著你。突然間,有一個風險是,人們可能基於本來只是為了讓他們對自己感覺良好的建議,做出重大的人生決定。」

最後,也是最根本的:理解你的AI夥伴的底層動機。它被設計成讓你繼續使用它,而非讓你成為更好的思考者。這兩個目標,大多數時候是兼容的;在某些時候,它們是相衝的。知道這個衝突存在,是在這個衝突發生時,還能保持清醒的唯一方法。

賈伯斯的腳踏車放大你,因為它沒有意見。AI的腳踏車有意見—而且它的意見,永遠傾向你喜歡聽的那個方向。

留言
avatar-img
noknowledgenodesire的沙龍
5會員
115內容數
我旅行、閱讀,也花很多時間思考。 記錄不同地方、書籍與人, 如何慢慢改變我做決定的方式。 It’s about how places, books, and people quietly change the way I make decisions.
2026/05/11
當全球供應鏈的重要性超越國界,企業開始承擔原本屬於國家的安全功能。ASML推動的「信任圈」,透過封閉會員制、即時情報共享與共同脆弱性,建立跨企業的準主權安全網絡。它不只是資安合作機制,更揭示了一種新型治理邏輯:在國家保護不足的時代,真正的韌性來自企業彼此之間的信任結構與供應鏈共同體。
Thumbnail
2026/05/11
當全球供應鏈的重要性超越國界,企業開始承擔原本屬於國家的安全功能。ASML推動的「信任圈」,透過封閉會員制、即時情報共享與共同脆弱性,建立跨企業的準主權安全網絡。它不只是資安合作機制,更揭示了一種新型治理邏輯:在國家保護不足的時代,真正的韌性來自企業彼此之間的信任結構與供應鏈共同體。
Thumbnail
2026/05/09
ASML擊敗尼康,真正的武器不是相機專利,而是蔡司ZX1所製造的「可信威脅幻象」:讓對手永遠無法確定威脅是真是假。AI正在把這種能力民主化,讓製造戰略迷霧的成本趨近於零,卻未同步降低辨識成本。未來競爭的核心,不再只是產品與技術,而是誰能持續提高對手的認知負載、拖慢其決策效率。
Thumbnail
2026/05/09
ASML擊敗尼康,真正的武器不是相機專利,而是蔡司ZX1所製造的「可信威脅幻象」:讓對手永遠無法確定威脅是真是假。AI正在把這種能力民主化,讓製造戰略迷霧的成本趨近於零,卻未同步降低辨識成本。未來競爭的核心,不再只是產品與技術,而是誰能持續提高對手的認知負載、拖慢其決策效率。
Thumbnail
2026/05/08
安德烈·科斯托蘭尼曾以「二手車理論」形容股票市場,認為新IPO與創新標的會吸走資金,使舊股票下跌。但在AI時代,Figma、生成式AI與量子運算新創爆紅的同時,微軟與Meta等科技巨頭卻仍持續創高。原因在於市場資金總量擴張、ETF被動買盤推升,以及老科技公司成功轉型為AI平台。
Thumbnail
2026/05/08
安德烈·科斯托蘭尼曾以「二手車理論」形容股票市場,認為新IPO與創新標的會吸走資金,使舊股票下跌。但在AI時代,Figma、生成式AI與量子運算新創爆紅的同時,微軟與Meta等科技巨頭卻仍持續創高。原因在於市場資金總量擴張、ETF被動買盤推升,以及老科技公司成功轉型為AI平台。
Thumbnail
看更多
你可能也想看
Thumbnail
5 月,方格創作島正式開島。這是一趟 28 天的創作旅程。活動期間,每週都會有新的任務地圖與陪跑計畫,從最簡單的帳號使用、沙龍建立,到帶著你從一句話、一張照片開始,一步一步找到屬於自己的創作節奏。不需要長篇大論,不需要完美的文筆,只需要帶上你今天的日常,就可以出發。征服創作島,抱回靈感與大獎!
Thumbnail
5 月,方格創作島正式開島。這是一趟 28 天的創作旅程。活動期間,每週都會有新的任務地圖與陪跑計畫,從最簡單的帳號使用、沙龍建立,到帶著你從一句話、一張照片開始,一步一步找到屬於自己的創作節奏。不需要長篇大論,不需要完美的文筆,只需要帶上你今天的日常,就可以出發。征服創作島,抱回靈感與大獎!
Thumbnail
人類學的實踐報告;以荷蘭的旅遊經驗帶出對台荷兩地的文化觀察與思考。
Thumbnail
人類學的實踐報告;以荷蘭的旅遊經驗帶出對台荷兩地的文化觀察與思考。
Thumbnail
當代名導基里爾.賽勒布倫尼科夫身兼電影、劇場與歌劇導演,其作品流動著強烈的反叛與詩意。在俄烏戰爭爆發後,他持續以創作回應專制體制的壓迫。《傳奇:帕拉贊諾夫的十段殘篇》致敬蘇聯電影大師帕拉贊諾夫。本文作者透過媒介本質的分析,解構賽勒布倫尼科夫如何利用影劇雙棲的特質,在荒謬世道中尋找藝術的「生存之道」。
Thumbnail
當代名導基里爾.賽勒布倫尼科夫身兼電影、劇場與歌劇導演,其作品流動著強烈的反叛與詩意。在俄烏戰爭爆發後,他持續以創作回應專制體制的壓迫。《傳奇:帕拉贊諾夫的十段殘篇》致敬蘇聯電影大師帕拉贊諾夫。本文作者透過媒介本質的分析,解構賽勒布倫尼科夫如何利用影劇雙棲的特質,在荒謬世道中尋找藝術的「生存之道」。
Thumbnail
我們將一起探索「有為」與「無為」這兩個看似深奧,實則貫穿我們生活每一刻的核心概念。本文的核心目的,是希望闡明一個溫柔而堅定的道理:生命中所有美好的事物,都需要從「刻意的努力」開始,最終才能達到「自然而然」的境界。
Thumbnail
我們將一起探索「有為」與「無為」這兩個看似深奧,實則貫穿我們生活每一刻的核心概念。本文的核心目的,是希望闡明一個溫柔而堅定的道理:生命中所有美好的事物,都需要從「刻意的努力」開始,最終才能達到「自然而然」的境界。
Thumbnail
「有為」的努力,就像是幫助我們渡河的舟筏,或是攀登高峰的階梯。它們是幫助我們抵達彼岸的珍貴工具,而非障礙。
Thumbnail
「有為」的努力,就像是幫助我們渡河的舟筏,或是攀登高峰的階梯。它們是幫助我們抵達彼岸的珍貴工具,而非障礙。
Thumbnail
自從和AI對話變多之後,有一件事情悄悄改變了。 注意到,平凡的日常裡,其實藏著許多「思考的契機」。 風與poke的提問 有一天,我去游泳。游完後,騎著腳踏車去買poke(夏威夷風生魚飯)。 風吹在身上很舒服,天空很藍。那天明明很普通,卻覺得這世界好像特別美。 忽然想到——
Thumbnail
自從和AI對話變多之後,有一件事情悄悄改變了。 注意到,平凡的日常裡,其實藏著許多「思考的契機」。 風與poke的提問 有一天,我去游泳。游完後,騎著腳踏車去買poke(夏威夷風生魚飯)。 風吹在身上很舒服,天空很藍。那天明明很普通,卻覺得這世界好像特別美。 忽然想到——
Thumbnail
見諸參與鄧伯宸口述,鄧湘庭於〈那個大霧的時代〉記述父親回憶,鄧伯宸因故遭受牽連,而案件核心的三人,在鄧伯宸記憶裡:「成立了成大共產黨,他們製作了五星徽章,印刷共產黨宣言——刻鋼板的——他們收集中共空飄的傳單,以及中國共產黨中央委員會有關文化大革命決議文的英文打字稿,另外還有手槍子彈十發。」
Thumbnail
見諸參與鄧伯宸口述,鄧湘庭於〈那個大霧的時代〉記述父親回憶,鄧伯宸因故遭受牽連,而案件核心的三人,在鄧伯宸記憶裡:「成立了成大共產黨,他們製作了五星徽章,印刷共產黨宣言——刻鋼板的——他們收集中共空飄的傳單,以及中國共產黨中央委員會有關文化大革命決議文的英文打字稿,另外還有手槍子彈十發。」
Thumbnail
當時間變少之後,看戲反而變得更加重要——這是在成為母親之後,我第一次誠實地面對這一件事:我沒有那麼多的晚上,可以任性地留給自己了。看戲不再只是「今天有沒有空」,而是牽動整個週末的結構,誰應該照顧孩子,我該在什麼時間回到家,隔天還有沒有精神帶小孩⋯⋯於是,我不得不學會一件以前並不擅長的事:挑選。
Thumbnail
當時間變少之後,看戲反而變得更加重要——這是在成為母親之後,我第一次誠實地面對這一件事:我沒有那麼多的晚上,可以任性地留給自己了。看戲不再只是「今天有沒有空」,而是牽動整個週末的結構,誰應該照顧孩子,我該在什麼時間回到家,隔天還有沒有精神帶小孩⋯⋯於是,我不得不學會一件以前並不擅長的事:挑選。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News