AI說書 - 從0開始 - 329 | Embedding Based Search GPT 的回答

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧目前有的素材：

• AI說書 - 從0開始 - 327 | Embedding Based Search 問答系統前置作業
• AI說書 - 從0開始 - 328 | Embedding Based Search 選擇模型

在 2024 年 1 月，GPT-3.5-turbo 和 GPT-4 無法回答 2023 年 4 月後的問題，我們也許能夠輕鬆地訓練一個非常小的模型，但它是否具有像 GPT-4 那樣強大的理解問題的能力？這取決於每個項目的要求。

GPT-3.5-turbo 存在記憶問題，您可以嘗試使用資料集對其進行微調，但是，它將無法回答有關最近體育賽事的問題，不斷微調模型的成本可能很高，GPT-3.5-turbo 的長期記憶有效，但它沒有短期記憶，因為它的資料集沒有資訊，例如，以下程式中，它無法回答有關 2022 年奧運會的問題：

query = 'Which athletes won the gold medal in curling at the 2022 Winter Olympics?'

client = OpenAI()
response = client.chat.completions.create(messages = [{'role': 'system', 'content': 'You answer questions about the 2022 Winter Olympics.'},
                                                      {'role': 'user', 'content': query}],
                                          model = GPT_MODEL,
                                          temperature = 0)
                                          
print(response.choices[0].message.content)

回答為：

可以看到它無法回答我的疑問！