那天其實很普通。會議室裡沒有什麼特別的氣氛，投影幕上是一個看起來很「先進」的系統畫面。 幾個部門的人坐在長桌兩側，有人滑手機，有人低頭看資料，還有人一邊喝咖啡，一邊等著這場「AI 導入說明會」快點結束。報告的人語氣很輕快。「這套系統已經可以自動分析資料、給出建議，甚至可以直接幫我們做決策。」有人點頭，有人皺眉。「意思是，以後很多事情不用再人工判斷？」「對，可以自動化，效率會提升很多。」效率，這兩個字，總是讓人很難反對。於是討論很快往正面的方向走。 成本下降、速度提升、人力釋放——這些關鍵字在會議室裡來回流動，看起來一切都在往對的方向發展。直到有人問了一句話。「那如果它判斷錯呢？」現場安靜了幾秒。報告的人笑了一下，很自然地回應：「我們的模型準確率很高，目前測試結果都不錯。」這個回答，讓討論又繼續往前走了。但那個問題，其實沒有被回答。 幾週後，系統正式上線。一開始，大家都很滿意。報表自動產出、流程加快、原本需要人力確認的步驟逐漸被省略。 有些決策開始直接由系統建議，有些甚至直接執行。效率確實提升了。人也開始習慣。習慣不再逐一檢查數據，習慣相信系統的判斷，習慣把原本需要經驗與直覺的部分，交給一個看不見的邏輯去處理。事情開始變得「順」。順到沒有人再問那個問題。——如果它判斷錯呢？ 問題發生在一個很不起眼的環節。不是核心流程，不是關鍵決策，而是一個「看起來不太重要」的小任務。 系統依照既定邏輯，做了一個判斷，接著觸發了一連串的動作。每一步都合理。每一步都符合規則。每一步，都沒有被攔下來。直到結果出現。有人開始察覺不對勁的時候，事情已經走到下一個階段。 修正變得困難，回溯變得複雜，而最麻煩的是，沒有人能很快說清楚——到底是哪一步出了問題。會議再次被召開。這一次，氣氛不太一樣。沒有輕鬆的笑聲，也沒有太多對未來的想像。 大家開始一層一層往回看。資料？ 看起來沒問題。模型？ 也沒有明顯異常。流程？ 每一步都照規則執行。於是有人說：「系統本身沒有錯。」這句話聽起來很合理。但也讓人更不安。 後來，有人又問了那句話。「如果它判斷錯，我們有什麼機制可以停下來？」這一次，沒有人馬上回答。因為答案很清楚——沒有。系統被設計來「做事」， 卻沒有被設計來「停手」。它可以分析，可以判斷，可以執行， 但當事情開始偏離的時候，它不會猶豫，也不會回頭。它只會繼續。 那次之後，有些東西開始改變。不是模型，也不是介面。而是大家看待這件事的方式。有人開始重新檢視流程， 有人開始思考哪些地方應該讓人重新介入， 也有人開始意識到，真正的問題，從來不在「AI 會不會做事」。而是在於——當它做錯的時候，整個系統會發生什麼。 這件事其實不只發生在一家公司。只是多數時候，問題沒有被放大， 或者還沒有發生到需要被正視的程度。所以很多討論，仍然停留在能力。模型多強、資料多大、速度多快。但有一個問題，仍然被忽略。不是因為不重要， 而是因為不容易回答。——如果它做錯了，會發生什麼？ 在傳統的工程或製造系統裡，這個問題其實很熟悉。沒有任何系統被設計成「永遠不會出錯」。 相反地，多數系統的設計，都是建立在一個前提之上：錯誤一定會發生。所以會有備援、會有檢查點、會有各種方式去限制錯誤擴散的範圍。不是為了避免錯誤， 而是為了在錯誤發生時，事情不會失控。 但當 AI 被導入時，這個思維，常常沒有被一起帶進來。系統變得更聰明， 流程變得更自動化， 但對於「失效」的處理，卻沒有同步升級。於是，一個新的風險開始出現。不是單一錯誤， 而是「持續錯誤」。不是局部影響， 而是「系統性放大」。 那天會議結束時，有人輕聲說了一句話。「AI 其實沒有問題。」大家點頭。「但我們用它的方式，可能有問題。」這句話沒有被寫進會議紀錄， 也沒有出現在任何簡報裡。但它留下來了。 或許未來某一天，當更多系統開始讓 AI 直接參與決策與執行時， 這個問題會變得無法再忽略。到那個時候，討論的重點，可能不再是：AI 能做什麼。而是：當它做錯的時候， 我們準備好了嗎。

科技

暢談無妨，攻擊性與侮辱性言論或是我看了有問題的都會刪除，自重方為人重。

系統可靠性