【AI 框架 04】在機率之外

更新 發佈閱讀 4 分鐘
vocus|新世代的創作平台

前言

上一篇,我提到 LoRA 實驗的結果有效,但我說不清楚為什麼。

那段時間裡我一直在想這件事。改善確實發生了,但無論是框架設計本身的作用、還是 LoRA 微調碰巧調對了方向,我都無法確認。唯一確定的是:不管哪一種解釋,底層做的事情都一樣——調整機率分布。

框架也好、LoRA 也好,最終都是讓 AI 的機率偏好往某個方向移動。它的確變好了,但那個「好」仍然是機率的產物。

這讓我回到一個更根本的問題:AI 到底是什麼?


重新理解 AI

在那之後,我花了相當多的時間去理解 AI 的運作機制——不是使用層面的理解,而是結構層面的。

AI 的底層是數學。語言被切成 token、被轉換成向量,向量在高維空間裡做運算,最終透過機率分布選出下一個最可能的 token。這個過程是精確的、可計算的、有結構的。

但問題出在後面:我們怎麼約束它?

目前主流的做法是 RLHF——讓人類評價 AI 的輸出,用這些評價去調整機率分布,讓它偏向人類認為「比較好」的方向。

這個過程,本質上是人類在用自己的方式去約束一個數學系統。


牛頓與蘋果

這裡可以用一個比喻。

牛頓看到蘋果掉下來。他可以停在「蘋果被地球吸引了」這個描述上——這個描述沒有錯,但它不能計算。你不能用「被吸引」來預測蘋果幾秒後會落地、以什麼速度撞到地面。

牛頓做的事情,是把這個現象數學化。用公式去捕捉它,讓「引力」從一個描述變成一個可以計算的量。

現在回來看 AI 的約束。

RLHF 的邏輯,本質上就是那個「蘋果被地球吸引了」的階段。它在描述——這個回答好、那個回答不好、這樣比較安全、那樣比較危險。然後用這些描述去調整機率。

這對人類來說很自然,因為我們有感官、有經驗、有直覺,我們能理解「好」和「不好」背後的意義。

但 AI 沒有感官。它沒有辦法真正理解那些描述背後的意義——它只能模仿那些描述的形式。所以當描述涵蓋不到的情況出現時,它就沒有東西可以依靠了。


約束應該是算出來的

這個認知把我帶向了一個方向:

如果 AI 的輸出本身是計算的產物,那約束它的東西,是不是也應該是計算出來的?

不是用描述告訴它「這樣不好」,而是讓它自己算出——在當前的情境下,這個輸出的意義值是多少、這個決策的邏輯是否站得住。

回頭看 AI 框架02 裡誕生的那些公式,我發現它們的角色可能比我當時想的更大。

M = i × e 最初是一個分析工具——我用它來評估 AI 的輸出品質。B = f(I, C, R) 是用來描述行為如何被產生的。

但如果把這些公式從「人類拿來分析 AI」,轉變成「AI 拿來分析自己」呢?

讓系統在輸出之前先算:這個決策該不該做?讓系統在輸出之後再算:做出來的東西夠不夠用?前者是決策閘,後者是品質閥。兩道關卡,都是數學運算,不是描述、不是偏好、不是機率猜測。

這個想法,就是我後來研究方向的核心。


目前在哪裡

這個方向目前還在進行中。

有些路走通了,有些路走到一半發現行不通,然後轉向。有些結果印證了假設,有些結果推翻了最初的直覺。這是研究的常態。

我不打算在這裡展開太多實作細節——一方面是因為研究還沒走完,另一方面是有些東西在這個階段不適合攤開來說。

但方向是清楚的:讓判斷本身變得可計算、可驗證,而不是靠描述去逼近。

等有更多可以說的時候,再繼續。

留言
avatar-img
Joe 的隨手筆記
1會員
12內容數
用自己的方式,探討自己觀察到的事物。
Joe 的隨手筆記的其他內容
2026/04/05
本文記錄了作者透過小型模型實驗驗證 M = i × e 公式,儘管實驗初期遭遇困難,透過 AI 回饋修正框架設計,最終在有限數據量下取得預期外的成效。然而,作者對驗證的有效性與改善的根本原因產生了兩大困惑,並在權衡投入產出比後暫停深入探究,轉而思考 AI 的數學運算可能性。
Thumbnail
2026/04/05
本文記錄了作者透過小型模型實驗驗證 M = i × e 公式,儘管實驗初期遭遇困難,透過 AI 回饋修正框架設計,最終在有限數據量下取得預期外的成效。然而,作者對驗證的有效性與改善的根本原因產生了兩大困惑,並在權衡投入產出比後暫停深入探究,轉而思考 AI 的數學運算可能性。
Thumbnail
2026/03/24
上一篇,我們談論了最初研究的契機。當時那些觀察與實驗資料,一放就放到了 2025 年。 ​老實說,當時因為實驗數據存在偏差,加上許多概念在那個時間點仍屬於難以驗證的『前沿假說』,這份研究也就隨之被雪藏了。直到 2025 年,環境與技術的變遷以及多次與 AI 談及此事下,讓我重新審視了這些……
Thumbnail
2026/03/24
上一篇,我們談論了最初研究的契機。當時那些觀察與實驗資料,一放就放到了 2025 年。 ​老實說,當時因為實驗數據存在偏差,加上許多概念在那個時間點仍屬於難以驗證的『前沿假說』,這份研究也就隨之被雪藏了。直到 2025 年,環境與技術的變遷以及多次與 AI 談及此事下,讓我重新審視了這些……
Thumbnail
2026/03/24
​從 2024 年的 AI 幻覺觀察,到發現 AI 學習使用者風格的「行為偏移」,這段被我封存兩年的研究,記錄了利用偏移現象塑造 AI 約束的初步嘗試。這不僅是技術筆記,更是我開發「AI 框架」的核心動機。
Thumbnail
2026/03/24
​從 2024 年的 AI 幻覺觀察,到發現 AI 學習使用者風格的「行為偏移」,這段被我封存兩年的研究,記錄了利用偏移現象塑造 AI 約束的初步嘗試。這不僅是技術筆記,更是我開發「AI 框架」的核心動機。
Thumbnail
看更多
你可能也想看
Thumbnail
許多使用者發現 AI 內容生成效果不如預期,本文深入剖析常見的 AI 提示詞問題,並提供十個錯誤示範與修正版的對比,強調「替特定讀者設計」與「釐清 AI 角色」是提升生成品質的核心觀念。
Thumbnail
許多使用者發現 AI 內容生成效果不如預期,本文深入剖析常見的 AI 提示詞問題,並提供十個錯誤示範與修正版的對比,強調「替特定讀者設計」與「釐清 AI 角色」是提升生成品質的核心觀念。
Thumbnail
長期以來,西方美學以《維特魯威人》式的幾何比例定義「完美身體」,這種視覺標準無形中成為殖民擴張與種族分類的暴力工具。本文透過分析奈及利亞編舞家庫德斯.奧尼奎庫的舞作《轉轉生》,探討當代非洲舞蹈如何跳脫「標本式」的文化觀看。
Thumbnail
長期以來,西方美學以《維特魯威人》式的幾何比例定義「完美身體」,這種視覺標準無形中成為殖民擴張與種族分類的暴力工具。本文透過分析奈及利亞編舞家庫德斯.奧尼奎庫的舞作《轉轉生》,探討當代非洲舞蹈如何跳脫「標本式」的文化觀看。
Thumbnail
本文是軟式生活2026 年 SEO 完整指南:掌握 SEO、AEO、GEO 三大策略。Google AI Overviews 出現在 50% 搜尋結果,學習 E-E-A-T 信號、FAQ Schema 實施教學,讓 AI 引用你的內容,包含數據增加 22% 可見性,跨平台策略提升 2.8 倍引用率。
Thumbnail
本文是軟式生活2026 年 SEO 完整指南:掌握 SEO、AEO、GEO 三大策略。Google AI Overviews 出現在 50% 搜尋結果,學習 E-E-A-T 信號、FAQ Schema 實施教學,讓 AI 引用你的內容,包含數據增加 22% 可見性,跨平台策略提升 2.8 倍引用率。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
內容不是產出,而是長期滾動的數位資產 「為什麼我這麼努力,存款還是只有五位數?」 這是林先生連續第三年在年終檢視財務狀況時,內心最大的疑問。身為台北某科技公司的資深專員,月薪5萬5,看似不差,但扣掉房租1萬8、生活費、孝親費,每個月能存下來的不到1萬5。按照這個速度,光是頭期款就要存10年。
Thumbnail
內容不是產出,而是長期滾動的數位資產 「為什麼我這麼努力,存款還是只有五位數?」 這是林先生連續第三年在年終檢視財務狀況時,內心最大的疑問。身為台北某科技公司的資深專員,月薪5萬5,看似不差,但扣掉房租1萬8、生活費、孝親費,每個月能存下來的不到1萬5。按照這個速度,光是頭期款就要存10年。
Thumbnail
全新版本的《三便士歌劇》如何不落入「復刻經典」的巢臼,反而利用華麗的秀場視覺,引導觀眾在晚期資本主義的消費愉悅之中,而能驚覺「批判」本身亦可能被收編——而當絞繩升起,這場關於如何生存的黑色遊戲,又將帶領新時代的我們走向何種後現代的自我解構?
Thumbnail
全新版本的《三便士歌劇》如何不落入「復刻經典」的巢臼,反而利用華麗的秀場視覺,引導觀眾在晚期資本主義的消費愉悅之中,而能驚覺「批判」本身亦可能被收編——而當絞繩升起,這場關於如何生存的黑色遊戲,又將帶領新時代的我們走向何種後現代的自我解構?
Thumbnail
本指南提供100個AI驅動的指令,涵蓋SEO關鍵詞研究、內容生成、數據分析、多平臺適配及用戶意圖解析,旨在協助營銷人員、內容創作者與SEO專家提升工作效率與成效。指令分為五大類別,並附帶實際應用範例及工具建議,
Thumbnail
本指南提供100個AI驅動的指令,涵蓋SEO關鍵詞研究、內容生成、數據分析、多平臺適配及用戶意圖解析,旨在協助營銷人員、內容創作者與SEO專家提升工作效率與成效。指令分為五大類別,並附帶實際應用範例及工具建議,
Thumbnail
若說易卜生的《玩偶之家》為 19 世紀的女性,開啟了一扇離家的窄門,那麼《海妲.蓋柏樂》展現的便是門後的窒息世界。本篇文章由劇場演員 Amily 執筆,同為熟稔文本的演員,亦是深刻體察制度縫隙的當代女性,此文所看見的不僅僅是崩壞前夕的最後發聲,更是女人被迫置於冷酷的制度之下,步步陷入無以言說的困境。
Thumbnail
若說易卜生的《玩偶之家》為 19 世紀的女性,開啟了一扇離家的窄門,那麼《海妲.蓋柏樂》展現的便是門後的窒息世界。本篇文章由劇場演員 Amily 執筆,同為熟稔文本的演員,亦是深刻體察制度縫隙的當代女性,此文所看見的不僅僅是崩壞前夕的最後發聲,更是女人被迫置於冷酷的制度之下,步步陷入無以言說的困境。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News