AI說書 - 從0開始 - 42

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊：

• 原始 Transformer 架構中設定 N = 6
• 因應 N = 6，因此 Multi-Head Attention也重複執行六次，這概念就像我們看一段文章，我們會同時追蹤這文章中多個字之間的關聯，英文原意就是：Explores Different Ways of Associating the Tokens in the Sequence
• 每個 Encoder Layer 內包含兩個 Sublayer ：Multi-Headed Attention Mechanism 與 Fully Connected Position-Wise Feedforward Network
• 原始 Transformer 架構中設定， Embedding Layer 、 Residual Connection 等 Sublayer 輸出維度均為 d_model = 512
• 維度設定一致可以避免運算設備還要做額外資源配置

接著我們來看看 Input Embedding Sublayer 做的是什麼事情，其架構如下：

• 其將 Input Tokens 轉換為維度為 512 的向量
• 而將 Input Sequence 轉換為 Input Tokens 的是 Tokenizer，它有很多種方法，如：Byte Pair Encoding 、 Word Piece 、 Sentence Piece 等等，原始 Transformer 使用的是 Byte Pair Encoding
• 舉一個例子來說明 Tokenizer 做的事情，假如我有一個句子為：「the Transformer is an innovative NLP model !」，那麼經過 Tokenizer 後將得到：'the' 、 'transform' 、 'er'、'is'、'an'、'innovative'、'n'、'l'、'p'、'model'、'!'