完整、標準、可實際用 RTX-4090 訓練的 Python 範例

更新 發佈閱讀 7 分鐘

一、程式碼的問題

原本的:

</>Python
training_example = {
"instruction": "幫我查一下預算表,並在明天下午三點排個審核會。",
"output": '{"tool": "query_database", "params": {"query": "budget_2026"}}\n'
'{"tool": "add_calendar_event", "params": {"title": "預算審核", "start_time": "2026-03-04T15:00"}}'
}

問題有三個

1️⃣ JSON key 不一致

工具定義

query_database(query_str)

但訓練資料

{"query": "..."}

應該要一致

{"query_str": "..."}

2️⃣ "明天下午三點" 被硬編碼

訓練資料不應寫死日期。

否則模型會學錯。


3️⃣ LLM 訓練格式不完整

目前主流 instruction tuning 格式通常是

system
user
assistant

而不是只有 instruction。


二、正確的 LLM Tool Calling 訓練格式

建議使用這種:

</>Python
training_data = [
{
"messages": [
{
"role": "system",
"content": """你是一位專業助理。你可以使用以下工具:
1. query_database(query_str): 查詢數據庫
2. add_calendar_event(title, start_time): 新增行事曆

如果需要使用工具,請輸出 JSON
{"tool": "...", "params": {...}}"""
},

{
"role": "user",
"content": "幫我查一下預算表,並在明天下午三點排個審核會。"
},

{
"role": "assistant",
"content": """{"tool": "query_database", "params": {"query_str": "budget"}}
{"tool": "add_calendar_event", "params": {"title": "預算審核", "start_time": "tomorrow 15:00"}}"""
}
]
}
]

三、如果是訓練 LLaMA / Mistral

常用格式是 Alpaca 格式

</>Python
training_data = [
{
"system": """你是一位專業助理。可以使用工具。""",

"instruction": "幫我查一下預算表,並在明天下午三點排個審核會。",

"output": """{"tool": "query_database", "params": {"query_str": "budget"}}
{"tool": "add_calendar_event", "params": {"title": "預算審核", "start_time": "tomorrow 15:00"}}"""
}
]

四、真正可用的 Tool Calling 訓練資料(專業版本)

推薦格式:

</>Python
{
"instruction": "幫我查一下預算表,並在明天下午三點排個審核會。",
"tools": [
{
"name": "query_database",
"description": "查詢資料庫",
"parameters": {
"type": "object",
"properties": {
"query_str": {"type": "string"}
}
}
},
{
"name": "add_calendar_event",
"description": "新增行事曆",
"parameters": {
"type": "object",
"properties": {
"title": {"type": "string"},
"start_time": {"type": "string"}
}
}
}
],
"output": [
{
"tool": "query_database",
"params": {"query_str": "budget"}
},
{
"tool": "add_calendar_event",
"params": {"title": "預算審核", "start_time": "tomorrow 15:00"}
}
]
}

五、LLM Tool Calling 的完整流程

實際系統會是:

User

LLM

輸出 JSON tool call

Backend 執行 tool

結果回傳 LLM

LLM 回覆 user

例如

User
幫我查預算

LLM
{"tool":"query_database","params":{"query_str":"budget"}}

Backend
查詢 DB

Result
2026 budget = 3M

LLM
2026 預算為 300

六、真正 AI 公司用的資料量

訓練 Tool Calling:

最低
500 examples

正常
5,000 examples

OpenAI / Anthropic
50,000+

七、如果用 4090 自己訓練 Tool LLM

可以跑:

Llama 3 8B
Mistral 7B
Qwen 7B

QLoRA

VRAM需求:

約 16GB

4090 完全可以。



留言
avatar-img
sirius數字沙龍
16會員
405內容數
吃自助火鍋啦!不要客氣,想吃啥,請自行取用!
sirius數字沙龍的其他內容
2026/03/08
模型在腦中建立了一個簡化的「世界結構」,有些研究者發現 LLM 內部可能形成「世界模型」(world model),「世界模型」是近年 AI 研究中非常熱門的概念。許多研究者認為,一些大型語言模型在內部可能逐漸形成了某種簡化的世界結構表示。
Thumbnail
2026/03/08
模型在腦中建立了一個簡化的「世界結構」,有些研究者發現 LLM 內部可能形成「世界模型」(world model),「世界模型」是近年 AI 研究中非常熱門的概念。許多研究者認為,一些大型語言模型在內部可能逐漸形成了某種簡化的世界結構表示。
Thumbnail
2026/03/08
最近 AI 可解釋性研究的一個重大發現 - 語言概念神經元,在大型語言模型(LLM)裡,某些神經元似乎對特定「概念」特別敏感。研究者常把這類現象稱為 “concept neurons(概念神經元)” 或 “feature neurons(特徵神經元)”。
Thumbnail
2026/03/08
最近 AI 可解釋性研究的一個重大發現 - 語言概念神經元,在大型語言模型(LLM)裡,某些神經元似乎對特定「概念」特別敏感。研究者常把這類現象稱為 “concept neurons(概念神經元)” 或 “feature neurons(特徵神經元)”。
Thumbnail
2026/03/08
大型語言模型(LLM)到底是在「理解」,還是在「記憶」訓練資料? 很多研究(例如來自 Stanford University、OpenAI、Google DeepMind)發現: LLM 同時包含「記憶」與「推理」,而且比例會隨資料與模型大小改變。 下面用比較直觀的方式說明。
Thumbnail
2026/03/08
大型語言模型(LLM)到底是在「理解」,還是在「記憶」訓練資料? 很多研究(例如來自 Stanford University、OpenAI、Google DeepMind)發現: LLM 同時包含「記憶」與「推理」,而且比例會隨資料與模型大小改變。 下面用比較直觀的方式說明。
Thumbnail
看更多
你可能也想看
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
▍開場引言 你是否曾經打開ChatGPT,卻發現自己問了問題得到答案,但總覺得「好像還少了點什麼」?明明別人能用AI產出完整行銷企劃、撰寫專業報告,但自己卻只能得到平凡的回覆。事實上,差別不在「誰的ChatGPT比較厲害」,而在「誰更懂得提問」。這就是所謂的提示工程。
Thumbnail
▍開場引言 你是否曾經打開ChatGPT,卻發現自己問了問題得到答案,但總覺得「好像還少了點什麼」?明明別人能用AI產出完整行銷企劃、撰寫專業報告,但自己卻只能得到平凡的回覆。事實上,差別不在「誰的ChatGPT比較厲害」,而在「誰更懂得提問」。這就是所謂的提示工程。
Thumbnail
在 2025 年 12 月 11 日,GPT-5.1發佈不到一個月的時間,GPT-5.2 模型正式推出。本文我們依照慣例,用淺顯的文字,讓大家一文看完 GPT-5.2 的完整功能升級、還有主要的特色亮點。
Thumbnail
在 2025 年 12 月 11 日,GPT-5.1發佈不到一個月的時間,GPT-5.2 模型正式推出。本文我們依照慣例,用淺顯的文字,讓大家一文看完 GPT-5.2 的完整功能升級、還有主要的特色亮點。
Thumbnail
解析 OpenAI 最新模型 GPT-5.2。本文將深入探討其在專業工作、寫程式、抽象推理 (ARC-AGI) 與視覺分析的突破性功能,並提供完整的價格資訊與未來影響分析。
Thumbnail
解析 OpenAI 最新模型 GPT-5.2。本文將深入探討其在專業工作、寫程式、抽象推理 (ARC-AGI) 與視覺分析的突破性功能,並提供完整的價格資訊與未來影響分析。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
OpenAI於2026年3月6日正式發布了最新的GPT-5.4模型,這一版本被稱為目前最強大且高效的專業工作前沿模型。以下是關於GPT-5.4的主要特點和功能: 主要特點 1. 整合能力: * GPT-5.4整合了推理、程式編寫和電腦自主操作能力,並且上下文視窗達到100萬個token,這
Thumbnail
OpenAI於2026年3月6日正式發布了最新的GPT-5.4模型,這一版本被稱為目前最強大且高效的專業工作前沿模型。以下是關於GPT-5.4的主要特點和功能: 主要特點 1. 整合能力: * GPT-5.4整合了推理、程式編寫和電腦自主操作能力,並且上下文視窗達到100萬個token,這
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News