Prompt Distillation 簡介
定義
Prompt Distillation 是人工智慧與提示工程（prompt engineering）中的一項技術，旨在將較長且複雜的提示（prompt）壓縮成更簡短且高效的版本，同時保持其效果不變。這種方法透過萃取與保留原始提示中最關鍵的元素，使得模型在推理時能以較低的計算成本達到相近甚至更佳的成果。
主要目標
- 簡化提示內容：從冗長、複雜的提示中萃取精髓，形成簡潔且具代表性的短提示。
- 提升性能：在保留模型原本回答品質的前提下，減少計算資源與推理時間。
- 知識轉移：將大型且複雜提示中蘊含的知識，通過精簡提示的形式傳遞給較小或較輕量的模型。
運作原理
- 透過分析成功的「老師模型」使用的詳細提示，理解其中關鍵資訊與結構。
- 根據這些核心資訊創建「學生模型」可採用的短提示，學生模型因此學會用更少的提示執行相同或相似的任務。
- 有時搭配自蒸餾（self-distillation）方法，將老師模型的回答或者隱含知識以更緊湊的形式轉化給學生模型。
應用範例
- 在自然語言處理中，將長篇任務指令壓縮為簡短指令，增強大語言模型（LLM）或輕量模型的推理效率。
- 在視覺語言模型（如 CLIP）中，使用無監督提示蒸餾從大型模型中無需標註資料地學習，提升小型模型效能。
- 推薦系統中的提示壓縮，用以減少訓練及推理時間且不損失性能。
優點
- 節省資源：短提示降低運算需求，推理更快速。
- 提升模型輕便性：使較小模型能有效利用大型模型知識。
- 方便調整：提示的簡化易於修正與優化。
挑戰與限制
- 縮短提示可能導致資訊遺失，影響表現穩定性。
- 提示設計仍依賴人工智慧專家的經驗與技巧。
- 需避免老師模型提示中可能的錯誤知識污染學生模型。
