我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 75 ，我們在給定句子 「 Transformers possess surprising emerging features 」的情況下，分析了 Transformer 中的第一個 Layer 中的第一個 Head 的分數為何，可以得出幾個觀察點：
- 在 AI 中稱的學習或訓練，是在給定 Context 情況下，學習一個字與其他字的關聯，其以機率形式呈現
- Transformers 與 Transformers 兩字間的關聯分數為 0.79 ，這分數很高並不足為奇，因為與自身相關是理所當然
- Transformers 與 possess 兩字間的關聯分數為 0.038 ，這分數不高，顯示兩字間不太相關
- 其他字的關係，以同理類推
我們也可以分析 Transformer 中的第一個 Layer 中的第六個 Head 的分數為何 (總共有 8 個 Head ，見 AI說書 - 從0開始 - 63 )：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman, 2024
對比 Transformer 中的第一個 Layer 中的第一個 Head 的分數，有以下觀察：
- Transformers 與 Transformers 兩字間的關聯分數為 0.7 ，分數變低了
- Transformers 與 possess 兩字間的關聯分數為 0.12 ，分數變高了
