📋 核心規則摘要

• Rule： 人類的情緒系統是幾億年演化出來的 meta-cognition circuit breaker。AI agent 缺乏這套系統，是架構層的瓶頸，不是 orchestration 能解的問題。
• Mechanism： 挫折感、無聊、不確定感的不適，分別對應能量浪費偵測、迴圈偵測、資訊不足警報。Agent 缺這三個訊號，所以會在失效策略上重複投入資源而不自知。
• Boundary： 這個觀察適用於需要判斷力的領域（投資、策略、創意）。對純重複性 ops（資料搬運、格式轉換），agent 不需要焦慮也能勝任。
• Trade-offs： 短期靠外部硬性限制（budget cap），中期靠方法層的不確定性估計，長期等架構突破（self-model）。每條路徑都有代價。
• 這篇不是在說 AI 沒用。 這篇在說，如果你分不清哪些事該交給 agent、哪些事該留給人，你會在錯誤的地方省力氣。

「零人公司」聽起來很美

最近有個開源專案叫 Paperclip，在 GitHub 上累積了相當高的關注度（截至撰文時約 29K stars）。它做的事情很簡單也很瘋狂：讓一群 AI agent 組成一家公司，自己跑。有 CEO、有 CTO、有工程師、有行銷，全部都是 bot。人類的角色是董事會，核准策略、批預算，然後看 dashboard。

這個專案的 tagline 寫得很直白：「Open-source orchestration for zero-human companies.」

零人公司。

如果 agent 可以自己開會、自己派任務、自己管預算，為什麼還需要人？

坦白說，我看到這類敘事的第一個反應不是興奮，是風控直覺。Paperclip 在 orchestration 這一層做得相當紮實，但我在這個問題後面，看到了一個它沒有處理、也很可能處理不了的東西。

這個問題跟能力無關。 跟自我懷疑有關。

Agent 的核心缺陷不在能力，在它不知道自己該停

先定義問題。

大部分人討論 AI agent 的限制時，焦點放在「它還不夠聰明」或「它會 hallucinate」。這些都對，但都是表層。

最根本的問題是 agent 缺乏 meta-cognition，也就是後設認知（metacognition），一種監控並調節自身認知過程的能力。心理學界一般把 Flavell 在 1970 年代末的研究視為這條線的重要起點，簡單講就是「知道自己知道什麼、不知道什麼」的能力。

Agent 不知道自己在鬼打牆。

人類有三個 agent 沒有的內建訊號：

挫折感，是能量浪費的警報。 你試了三次同一個方法都沒用，你會煩，會焦躁。這個負面情緒本身就是一個 signal，告訴你正在浪費能量，該換策略或停下來了。Agent 沒有這個。它第 100 次 retry 跟第 1 次一樣認真，一樣沒有感覺。

無聊，是迴圈偵測器。 你重複做同一件事會膩。這個「膩」其實是大腦在跟你說：你在 loop 裡，這條路走不通。Agent 不會膩。它可以無限執行步驟一和步驟二，每次都真心覺得下一次會更好。

不確定感的不適，驅動你尋求資訊或承認無知。 人類面對不確定時會「不舒服」，這個不舒服推你去問人、查資料、或者老實承認「我搞不定」。Agent 沒有這個不適感，所以它會很自信地 hallucinate，而不是停下來說「我不確定」。

神經科學裡有一條很重要的觀察：情緒很多時候是大腦用身體感受來快速篩選選項的捷徑，而不是干擾。Damasio 的 somatic marker hypothesis 是這個方向最知名的框架。從演化的尺度看，這套系統是被長時間訓練出來的。

Agent 沒有 somatic marker。 它只有 loss function。

而 loss function 只知道「完成任務」，不知道「我正在浪費資源」。

交易員的停損紀律，跟 agent 的 budget cap 是同構的

講到這裡，做交易的人應該覺得很熟悉。

因為交易員也會失去 meta-cognition。

虧損的時候，人腦最擅長的一件事就是合理化：「再撐一下就回來了」「只是暫時的修正」「基本面沒變」。這跟 agent 的無限 retry 是一樣的，都是在一個已經失效的策略上持續投入資源，因為缺乏一個內部訊號告訴自己「停」。

所以好的交易系統不信任人在虧損時的即時判斷。

它用 hard stop-loss 做外部強制限制。跌到某個價位，自動出場，不管你覺得自己多有道理。

Miyama 的風控哲學從一開始就建立在這個認知上：機制保證生存，判斷最佳化收益。 你不能假設自己永遠冷靜，所以你設計一個系統，讓你不冷靜的時候也不會死。

回到 agent 的世界。

Paperclip 的 budget cap 和 max turns 做的就是這件事。Agent 花完預算就停，不管任務完成沒有。這就是 agent 世界的 stop-loss。

有用。

但很粗糙。

Stop-loss 能防你爆倉，但不能幫你判斷「這筆 trade 的 thesis 是不是一開始就錯了」。同樣的，budget cap 能防 agent 燒光你的 API credits，但不能幫 agent 判斷「我現在用的方法根本走不通，我應該換一個方向，或者老實跟人類說我搞不定」。

一個是外部硬性限制。 一個是內部判斷力。

差別在這裡。

Orchestration 解的是管理問題，不是自我覺察問題

Paperclip 等 orchestration 系統解的問題是「怎麼管一群員工」，包括誰負責什麼、預算多少、任務怎麼分配、進度怎麼追蹤。

這些都是真問題。如果你同時開 20 個 AI agent，沒有一個 orchestration 層，你只會得到一團混亂。Paperclip 在這一層做得很好，它有組織架構圖、有任務追蹤、有成本控制、有 audit log。

但它沒有解決另一個問題：員工怎麼知道自己在摸魚？

Budget cap 是外部硬性限制（等同於 stop-loss），不是 agent 自己的判斷力。把 max turns 從 100 降到 50，agent 不會因此變得更聰明，它只是更早被強制停下來。就像把 stop-loss 從 -10% 收緊到 -5%，交易員不會因此更善於判斷 thesis 是否失效，只是更早被踢出場。

真正需要的是 agent 層面的東西：uncertainty estimation，也就是對自己的方法和產出品質的不確定性有估計能力，加上某種程度的 self-model，也就是知道自己擅長什麼、不擅長什麼。

這已經進到架構層了。

Orchestration 解的是 Layer 0，也就是機制層，讓系統不會失控。但 Layer 1，也就是判斷層，讓系統知道什麼時候該停、什麼時候該升級，目前幾乎沒有人做得好。

舉個具體的例子：你讓 agent A 寫一份報告，A 覺得自己寫得不夠好，把報告丟給 agent B 潤稿。B 改完覺得還是不夠好，又丟回 A。A 再改一版，再丟給 B。這個迴圈可以跑到天荒地老，因為兩個 agent 都沒有一個內建的判斷告訴自己「這已經夠好了」或「這條路走不通」。系統需要 cycle detection 加 circuit breaker，但更根本的問題是，如果「什麼都不做」不是 agent 的合法選項，它就會用垃圾交差。用 agent 審查 agent 聽起來很優雅，但本質上是 infinite regress，某個節點必須有人在 loop 裡。

三個時間尺度的可能方向

如果不能等 agent 真的「學會焦慮」，退而求其次可以怎麼做？

短期，模擬挫折感的效果。 Diminishing return detection，也就是如果 agent 連續 N 次的 output 品質沒有明顯改善（diff 很小或評分沒有提升），自動降級處理或暫停。這不是真的挫折感，是人工製造挫折感的觸發效果。就像 stop-loss 不是真的冷靜判斷，但至少防止了最壞結果。至少從我們目前自己的流程經驗看，這類規則通常能減少一部分無效迴圈。

中期，對方法的信心程度估計。 Calibrated uncertainty，但重點不只是對答案的信心程度（「我 95% 確定答案是 X」），而是對「我現在用的方法到底行不行」的信心程度。這比較接近人類的「不確定感的不適」。當一個 agent 不只能說「我不確定答案」，還能說「我覺得我的整個解題思路可能有問題」，那才算是有了某種 meta-cognition 的雛形。

長期，self-model。 Agent 知道自己的能力邊界。它能說「這類問題我通常搞砸」或「這件事超出我的能力範圍，應該 escalate 給人」。這比較接近人類從經驗中累積的直覺判斷，也是目前離實現最遠的方向。

這三個方向不互斥，但成本和難度遞增。

為什麼交易公司不能全自動

回到開頭的問題：如果 agent 可以組成公司自己跑，為什麼還需要人？

答案取決於你在做什麼。

如果你的業務是高度重複、規則明確、output 品質容易自動判定的事情，比如資料搬運、格式轉換、排程發送，那「零人公司」確實可能成立。Agent 不需要焦慮就能搬資料。

但如果你的業務核心需要判斷力，在不完整的資訊下做決策、在不確定性中分辨訊號與雜訊、判斷一個 thesis 什麼時候該堅持什麼時候該放棄，那人類目前還是唯一有這個能力的。

人類的優勢在於一套演化了極長時間的 meta-cognition 系統。聰明跟這件事無關。

交易裡面，真正的 alpha 從來不在執行層。自動化能做的事情，所有人都能自動化，那就是 beta。Alpha 來自不確定性下的判斷力，來自知道什麼時候該堅持、什麼時候該認錯、什麼時候該承認自己不知道。

AI 是紀律的延伸。但它不是判斷的替代。

怎麼應對，取決於你在做什麼。如果你的業務以重複性 ops 為主，全自動加上外部硬性限制（budget cap、diminishing return detection）大概就夠了，代價是品質上限取決於限制的設計而非 agent 的判斷力。如果你的業務核心是判斷力，那關鍵節點必須留人在 loop 裡，代價是不 scalable。也可以先觀望，等 uncertainty estimation 和 self-model 更成熟再大規模部署，代價是可能錯過先行者的學習曲線。

沒有哪條路徑是絕對正確的。選之前知道自己在放棄什麼就好。

能自動化的部分叫 beta。

不能自動化的部分，才叫 alpha。

本文為作者的投資哲學思考，旨在交付認知框架而非具體操作建議。文中提及的技術概念與投資類比僅作為規則說明的背景，不構成任何買賣建議。每位讀者的財務狀況、風險承受度與投資目標不同，應獨立判斷文中規則的適用性。

Kuan, Miyama Capital 創辦人 / CIO