我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續 AI說書 - 從0開始 - 416 | Vertex AI PaLM 2 參數介紹 內容，如果溫度、Softmax、Top-K 和 Top-P 一起實現，我們可以將選擇下一個標記的取樣函數表示為一個複合函數：
PaLM 或 GPT 模型會生成原始的 Logits，然後由一個取樣函數接手，生成下一個標記，並將其添加到已標記化的輸入序列中，以便模型繼續預測標記，直到達到標記限制或檢測到序列結尾的標記，向 Vertex AI PaLM 提出的請求有時會根據模型的不同，需使用不同的參數配置。
Vertex AI 的命名方案與 OpenAI 相似，對於 Vertex AI 的基礎模型，其格式是以使用案例作為前綴，加上模型的大小，模型的大小是版本名稱中的關鍵部分：
- Bison：最佳性能，成本較高
- Gecko：最小且成本較低
Google AI 與 OpenAI 類似，都有穩定版本或較新的版本，並具有生命周期，主要的前綴有 text、text-embedding、chat 和 codechat，例如：
- text-bison 用於分類、實體提取、問答、摘要、情感分析和其他文本相關任務
- textembedding-gecko 用於嵌入文本輸入
- code-bison 用於代碼請求
