AI說書 - 從0開始 - 253 | Attention 模型視覺化

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

如果我們想要獲得 Transformer 的模型觀點，只需要撰寫以下程式碼：

model_view(attention, tokens, sentence_b_start)

結果為：

可以調整的參數為 Layer Number、Attention Head Number、Word-to-Word 觀點、Sentence-to-Sentence 觀點等等，下圖顯示第一個 Layer 的視覺化效果：