AI說書 - 從0開始 - 64

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

到 AI說書 - 從0開始 - 63 為止，我們已經介紹完 Multi-Head Attention ，接著我們來談 Add & Norm 兩元件的功能：

• Add 這個函數執行 Residual Connections
• 目的是希望輸入訊息不會遺失
• 這概念就是：隨著一個句子的輸入 AI，但是它可能會忘記前面的字，因此我乾脆把輸入訊息再灌進去一次，這樣就比較不會忘記

接著來看 Norm 這個函數要做什麼事，首先回想 AI說書 - 從0開始 - 63 說在原始 Google 釋出的 Transformer 論文，在 Multi-Head Attention 之後的輸出維度將是 3 x 512 ，這個 3 是我現在假設輸入句子有三個字。

現在針對每個字的 512 維度向量，我要經過 Norm 函數，更具體來說是 Layer Normalization 函數，其作法是，輸入一個向量，輸出一樣是一個向量，且維度相同，只是中間的元素經過一些數學調整，數學運作式為：

圖片取自：台大電機 李宏毅教授的課程

• 這是 Layer Normalization 的運作說明
• 計算向量 x 內元素的均值，記為 m
• 計算向量 x 內元素的標準差，記為 Sigma
• 針對向量 x 內每個元素，均執行：減去 m ，除上 Sigma 的動作
• 上述做完之後將得到一個向量 x^'
• 這個 x^' 可以乘上一個 Scaling 參數
• 乘上 Scaling 參數後的 x^' 可以再加上一個 Bias 向量