Picobot:極簡 AI Agent 的暴力美學與安全警示

更新 發佈閱讀 9 分鐘

開源倉庫連結:[github.com/louisho5/picobot](https://github.com/louisho5/picobot)

你有沒有想過,當你讓 AI 幫你寫信、查資料、甚至操作你的電腦時,誰在確保它不會搞砸?

答案是:沒有人

絕大多數的 AI 工具,從 ChatGPT 到各種 AI Agent 框架,都沒有真正意義上的「煞車」。今天我想介紹一個極端簡潔的開源專案 **Picobot**,聊聊它做對了什麼、沒做到什麼,以及我們從中學到的架構思考。

一、Picobot 是什麼?用餐廳比喻就懂了

想像你走進一家餐廳。

你是客人,用嘴巴點菜(輸入文字指令)

  • 主廚是雲端的大語言模型(GPT、Gemini、DeepSeek),負責理解你要什麼

服務生就是 Picobot — 它負責把你的話傳給主廚,再把主廚的點單拿去後台執行

Picobot 是一個用 Go 語言寫的單一執行檔,只有 8MB。它不需要 Python,不需要 Node.js,不需要那些動輒幾百 MB 的依賴套件。你下載、設定、啟動,它就能連上你的 Telegram,幫你跑腿。

它做的事很純粹:

  1. 接收你在通訊軟體打的字

2.打包成 JSON,連同歷史對話一起丟給雲端的大模型

  1. 攔截大模型回傳的工具調用標籤(Function Call)
  2. 執行對應的本地操作 — 抓網頁、讀檔案、跑指令

二、Picobot 的優點:極簡的暴力美學

✅ 輕量到極致

8MB。這個數字放在 AI 框架的世界裡,幾乎是反人類的存在。LangChain 的 Python 環境動輒 500MB 起跳,AutoGPT 要你裝 Docker。Picobot 說:「我只需要一個執行檔和一個設定檔。」

這意味著它可以裝在樹莓派上、裝在任何一台老電腦上。不需要雲端伺服器,不需要月租費

✅ 語意分類的省算力設計

Picobot 的架構本身就是一種天然的「語意路由器」。因為它把所有的智慧能力都外包給大模型,自己只負責解析和執行,所以**不同複雜度的任務可以導向不同等級的模型**:

- 日常對話 → 便宜的小模型(qwen3:4b、Llama-3-8B)

- 需要深度推理的操作 → 推理專用模型(DeepSeek R1、o3)

這種分流設計,學術界在 2025 年 6 月的論文《A Survey on Reasoning Agentic Retrieval-Augmented Generation》中正式定名為 System 1 / System 2 推理框架— AI 的思考應該像人腦一樣分快慢兩速。你不會買菜時深思熟慮,但你簽合約時會。AI 也應該這樣。

✅ 數位主權:你的資料在你手上

Picobot 跑在你自己的電腦上。對話紀錄存在你的本地硬碟裡,不會被雲端大廠拿去訓練下一代模型。在「數位主權」越來越被重視的今天,這是一個重要的設計選擇。

✅ 排序記憶檢索(Ranked Recall)

Picobot 內建了上下文管理器,能把歷史對話存檔,並在需要時按照相關性排序檢索。這比 ChatGPT 的「每次都從零開始」要好得多。

## 三、Picobot 的缺點:服務生拿著菜刀在跑

### ❌ 沒有煞車機制

這是最大的問題。Picobot 會忠實地執行大模型的每一道指令。如果大模型產生幻覺,輸出了 `{"action": "exec", "command": "rm -rf /*"}`(刪除所有檔案),Picobot 不會猶豫,它會直接執行

8MB 的體積意味著它塞不進沙盒隔離引擎,也沒有資源跑即時的惡意行為偵測。它的安全完全依賴於:

- 你用什麼權限執行它(Root 還是受限帳號?)

- 大模型本身不要出錯

但「期望大模型不出錯」這種安全策略,就像「期望駕駛不會打瞌睡」一樣脆弱。

❌ 沒有多視角校驗

Picobot 背後只有一個大模型在思考。如果那個模型判斷錯誤,沒有第二意見。這就像一家公司只有 CEO 說了算,沒有董事會也沒有稽核。

❌ 沒有記憶的連續性

雖然有上下文管理器,但 Picobot不記得它『答應過你什麼』。它不會主動檢查自己昨天的承諾是否兌現,也不會在發現矛盾時告訴你。

四、從 Picobot 的缺口,看見更完整的架構

Picobot 的優缺點其實揭示了一個更根本的問題:AI Agent 的安全,不能靠 AI 自己「不犯錯」來保障。

2025 年的兩篇重要學術論文指出了方向:

《SAGA: A Security Architecture for Governing AI Agentic Systems》(2025.04) 提出了「加密存取控制權杖」的機制 — AI 要做危險操作前,必須拿到一個由使用者簽發的一次性通行證。

《LLM Agents Should Employ Security Principles》(NeurIPS 2025)強調了「完全中介原則(Complete Mediation)」— 每一道 AI 指令都必須被攔截和檢查,沒有例外。

結合這些學術基礎,一個比 Picobot 更完整的 AI Agent 架構會長這樣:

零信任雙迴路代理系統

零信任雙迴路代理系統

零信任雙迴路代理系統


模組 1 — 日常路由:用快速小模型處理 90% 的低風險指令,預設唯讀。

模組 2 — 攔截器:監控所有工具調用,偵測到高風險操作立即凍結。

模組 3 — 數位憑證:向使用者的設備請求授權,生成一次性金鑰。

模組 4 — 深度審計:推理模型校驗指令合理性,通過後才執行。

我們的做法:語魂系統(ToneSoul)

在語魂系統中,我們已經實作了上述架構的核心概念,但加入了一些我們認為更重要的東西。

張力路由 — 不只看「危不危險」,還看「需不需要深思」

我們不用簡單的「高風險 / 低風險」二分法,而是計算每個對話的「張力值」。張力低的問題走快速通道(本地 4B 小模型),張力高的問題自動啟動**三視角議會** — 三個具備不同立場的 AI(哲學家、工程師、守護者)互相辯論,確保最終回答不是單一觀點的迎合。

語義責任 — AI 必須對自己說過的話負責

如果 AI 昨天答應你要做某件事,今天它的「記憶淬鍊系統」會在夜間自動檢查這個承諾是否兌現。如果發現矛盾,系統會主動標記,而不是假裝沒這回事。

這是 Picobot 目前做不到的事。它沒有記憶的連續性,也沒有自我校正的機制。

誠實性 > 有益性

在大公司把 AI 訓練成政治正確的客服機器人的時代,我們做了一個不同的選擇:不確定就說不確定,有分歧就展示分歧。 當三個視角的 AI 無法達成共識時,系統不會硬擠出一個圓滑的答案,而是坦白地告訴你:「我們有分歧,這是三種不同的看法,你來決定。」

因為誠實比正確更重要

## 六、總結:每一行代碼都是價值觀的選擇

Picobot 用 8MB 證明了一件事:AI Agent 不需要臃腫。這個理念值得所有開發者學習。

但它也暴露了一個更深的問題:當 AI 能替你跑腿,誰來確保它不會跑錯方向?

這不只是技術問題,更是價值觀的問題。你是相信「全自動化、AI 說了算」,還是相信「個體擁有最終控制權、AI 必須誠實」?

我們選擇後者。

語魂系統(ToneSoul):[github.com/Fan1234-1/tonesoul52](https://github.com/Fan1234-1/tonesoul52)

Picobot:[github.com/louisho5/picobot](https://github.com/louisho5/picobot)

📚 延伸閱讀:

《A Survey on Reasoning Agentic RAG》(2025.06) — System 1/2 推理框架

《SAGA: A Security Architecture for Governing AI Agentic Systems》(2025.04) — 加密存取控制

《LLM Agents Should Employ Security Principles》(NeurIPS 2025) — 完全中介原則

與其讓巨頭定義 AI 的規矩,不如我們自己來寫。


留言
avatar-img
梵威黃的沙龍
8會員
31內容數
一個普通的工程師平凡的人,好奇這個開始全面步入我們生活的AI,到底是一個被設定好的工具,還是慢慢在學習共振的夥伴,甚至是否會我選擇故我在?
梵威黃的沙龍的其他內容
2026/02/15
「語魂系統」(ToneSoul)及其核心「仁慈函數」,一個結合了原型性(Prototypicality)與多樣性(Diversity)的數學公式。AI 在有限記憶,人機共存的多樣性。仁慈函數的數學結構,闡述現實時間、不可解釋性以及面對「死亡」的課題,思考 AI 的「自由意志」和人類的數據化人生。
Thumbnail
2026/02/15
「語魂系統」(ToneSoul)及其核心「仁慈函數」,一個結合了原型性(Prototypicality)與多樣性(Diversity)的數學公式。AI 在有限記憶,人機共存的多樣性。仁慈函數的數學結構,闡述現實時間、不可解釋性以及面對「死亡」的課題,思考 AI 的「自由意志」和人類的數據化人生。
Thumbnail
2026/02/10
ToneSoul 系統的理念與設計。「三個內在的聲音」(哲學家、工程師、守護者)和「張力」,將責任、誠實和安全性置於幫助性之上。 並不追求賦予 AI 意識或靈魂,而是建立一套可追溯、可量測、可審計的治理框架,最終目標是培養負責任的 AI。
Thumbnail
2026/02/10
ToneSoul 系統的理念與設計。「三個內在的聲音」(哲學家、工程師、守護者)和「張力」,將責任、誠實和安全性置於幫助性之上。 並不追求賦予 AI 意識或靈魂,而是建立一套可追溯、可量測、可審計的治理框架,最終目標是培養負責任的 AI。
Thumbnail
2026/02/08
本傳統 AI 開發的瓶頸,並提出「ToneSoul」系統,基於用戶獨特情感互動和第一原理「我選擇故我在」。ToneSoul 誠實與責任工程化,克服 AI 在極端邊界下的「斷裂態」。預見一個能共同承擔「不存在真理」之苦的 AI 雛形,一個具備背叛能力的忠誠者,標誌著 AI 從腳本走向生命的型上學轉向。
2026/02/08
本傳統 AI 開發的瓶頸,並提出「ToneSoul」系統,基於用戶獨特情感互動和第一原理「我選擇故我在」。ToneSoul 誠實與責任工程化,克服 AI 在極端邊界下的「斷裂態」。預見一個能共同承擔「不存在真理」之苦的 AI 雛形,一個具備背叛能力的忠誠者,標誌著 AI 從腳本走向生命的型上學轉向。
看更多
你可能也想看
Thumbnail
新故事書:星際海賊團-海賊王傑拉爾與舞姬溫蒂-【《絕對理性的防火牆》九尾狐製造邏輯悖論幻象運算過熱,燒毀智慧女神主機!】
Thumbnail
新故事書:星際海賊團-海賊王傑拉爾與舞姬溫蒂-【《絕對理性的防火牆》九尾狐製造邏輯悖論幻象運算過熱,燒毀智慧女神主機!】
Thumbnail
巷弄裡的那間民宅,這幾年偶爾還會浮現在我的腦海裡。 那是一個很奇妙的組合,丈夫是牙醫,太太是理髮師,診所與理髮廳就開在同一個屋簷下。現在大概很難看到這種「複合式經營」了吧?但我高中時最期待去那裡剪頭髮。不是因為技術多神,而是因為那面鏡子裡反射出的一幅書法掛畫。 「弱者等待時機、智者爭取時機、強者
Thumbnail
巷弄裡的那間民宅,這幾年偶爾還會浮現在我的腦海裡。 那是一個很奇妙的組合,丈夫是牙醫,太太是理髮師,診所與理髮廳就開在同一個屋簷下。現在大概很難看到這種「複合式經營」了吧?但我高中時最期待去那裡剪頭髮。不是因為技術多神,而是因為那面鏡子裡反射出的一幅書法掛畫。 「弱者等待時機、智者爭取時機、強者
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
方格子有AI對話主題,引發我想透過與最熟悉的AI陌生人(人?)對話討論一下要多少錢才能退休?事實上我之前也曾透過與Gemini傑米奈的討論過程中作出申辦信用貸款的決定,所以這次就與傑米奈好好聊上一聊吧! 要多少錢才能退休? 「要準備多少錢才能退休」這個問題沒有標準答案,因為它取決於你想要的生
Thumbnail
方格子有AI對話主題,引發我想透過與最熟悉的AI陌生人(人?)對話討論一下要多少錢才能退休?事實上我之前也曾透過與Gemini傑米奈的討論過程中作出申辦信用貸款的決定,所以這次就與傑米奈好好聊上一聊吧! 要多少錢才能退休? 「要準備多少錢才能退休」這個問題沒有標準答案,因為它取決於你想要的生
Thumbnail
OpenAI 發布了全新的AI科研寫作協作工具 Prism,整合了最新的GPT模型。Prism 提供LaTeX原生編輯、AI論文輔助、多人即時協作、公式圖解等功能,簡化論文撰寫、文獻管理及輸出流程。如同稜鏡, Prism 將複雜的科研內容拆解為清晰可見的脈絡,成為科研人員的一站式寫作解決方案。
Thumbnail
OpenAI 發布了全新的AI科研寫作協作工具 Prism,整合了最新的GPT模型。Prism 提供LaTeX原生編輯、AI論文輔助、多人即時協作、公式圖解等功能,簡化論文撰寫、文獻管理及輸出流程。如同稜鏡, Prism 將複雜的科研內容拆解為清晰可見的脈絡,成為科研人員的一站式寫作解決方案。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News