我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
也許第 7 章《使用 ChatGPT 的生成式 AI 革命》讓我們認為 OpenAI 的 ChatGPT 終結了大型語言模型（LLM）和生成式 AI 的巨大進展，或許像 GitHub Copilot、GPT-4 以及 OpenAI 的嵌入模型這樣的強大工具，讓我們誤以為我們已經達到了極限。
然後，在 2023 年 5 月 23 日，Google 發布了 PaLM 2 技術報告，該報告基於早期的 PaLM 和 Pathways 論文，這些論文的內容令人驚嘆！PaLM 的架構通過巧妙的創新改進了軟體和硬體的性能。
我們將從研究 Pathways 開始，以理解 PaLM，我們將繼續探討 PaLM（Pathways Language Model）的主要特徵，這是一個僅限解碼器、密集激活和 Auto-Regressive 的 Transformer 模型，擁有 5400 億個參數，並在 Google 的 Pathways 系統上進行訓練，PaLM 是基於 7800 億個 Tokens 進行訓練的。
接下來的步驟是了解 PaLM 2 如何通過引入縮放法則和優化模型大小與參數數量來提高機器效率，PaLM 2 的性能與 OpenAI GPT-4 達到相似的結果，我們不會嘗試決定哪個模型更適合一個項目，因為每個模型可能在某些 NLP 任務上表現更好，而在其他任務上則未必如此。
接下來，我們將探討由 Google 最先進的 Transformer 技術所支持的奇妙且高效的助手，我們將運行由生成式 AI 驅動的助手，例如 Gemini、Google Workspace 中的 Google Docs、Google Colab Copilot 和 AI PaLM 2，我們將詢問 Gemini API 關於其自身的問題，我們將了解 Google PaLM 2 如何執行聊天任務、判別任務（如分類）、補全任務（也稱為生成任務）等，隨後，我們將實施 Vertex AI PaLM 2 API，用於多項 NLP 任務，包括問答、摘要等。
