用一張RTX5060ti-16G就可跑開源模型 GPT-OSS 20B

更新 發佈閱讀 5 分鐘

OpenAI 推出開源模型 GPT-OSS 20B:高效能、可本地端運行的 AI 新選擇

人工智慧領域的領導者 OpenAI 於本週稍早(2025 年 8 月 5 日)正式發布其最新的開源大型語言模型系列 GPT-OSS,其中 200 億參數規模的 GPT-OSS 20B 版本,以其高效能、低硬體需求的特性,引起開發者社群的廣泛關注。此舉被視為 OpenAI 在維持其頂尖專有模型的同時,積極擁抱開源生態的重要一步。

vocus|新世代的創作平台


GPT-OSS 20B 是一款專為本地端和邊緣裝置設計的文本生成模型,旨在提供強大的推理能力,同時降低部署門檻。與其一同發布的還有更大規模的 120B 版本。兩者皆以寬鬆的 Apache 2.0 授權釋出,允許學術研究、商業應用、修改與再發布,為 AI 應用的普及化注入新的動能。

GPT-OSS 20B 的核心特色

高效的混合專家(MoE)架構:

GPT-OSS 20B 總參數雖達 209 億,但採用了混合專家(Mixture-of-Experts, MoE)架構。在實際進行推論運算時,每個 token 僅需啟用約 36 億個活性參數。這種設計大幅降低了運算所需的記憶體和處理能力,使其能夠在消費級硬體上流暢運行。

低硬體需求,親民的本地端部署:

官方指出,運行 GPT-OSS 20B 的最低記憶體需求僅為 16GB RAM。這意味著,開發者和一般使用者都可以在個人的高階筆記型電腦(如搭載 Apple Silicon 的 Mac 或配備新世代 GPU 的 Windows PC)上本地部署和運行此模型,實現離線操作,確保資料的隱私性與安全性。

強大的推理與工具使用能力:

GPT-OSS 20B 不僅是個語言生成模型,更是一個強大的「推理引擎」。它支援「思維鏈(Chain-of-Thought)」推理,能夠模擬人類的思考過程,處理複雜的邏輯問題。此外,它還具備指令遵循、函式呼叫(function calling)、執行 Python 程式碼以及進行網頁查詢等進階功能,使其非常適合應用於開發 AI 代理(AI Agent)等自動化工作流程。

可調節的推理強度:

為了在效能與延遲之間取得平衡,開發者可以根據應用場景的需求,在「低」、「中」、「高」三種推理強度之間進行選擇,彈性調配運算資源。

技術架構亮點

* 模型架構: 採用混合專家(MoE)模型,包含 24 層和 32 個專家,每個 token 路由至 4 個專家進行處理。

* 注意力機制: 使用分組查詢注意力(Grouped Query Attention, GQA)以提升效率。

* 位置編碼: 導入旋轉位置嵌入(Rotary Position Embeddings, RoPE),並支援高達 128k token 的超長上下文視窗。

* 量化技術: 透過 MXFP4 格式對模型權重進行 4-bit 量化,顯著壓縮模型大小,降低記憶體佔用。

性能表現

根據 OpenAI 公布的基準測試數據,GPT-OSS 20B 的整體性能與其自家的專有模型 o3-mini 相當。在多項公開評測中,如 MMLU(大規模多工語言理解)、SWE-Bench(軟體工程)以及 AIME(美國數學邀請賽)等,都展現出與其模型規模相比極具競爭力的表現,尤其在數學和程式編寫能力上相當出色。

如何開始使用 GPT-OSS 20B?

目前,開發者已可透過多種途徑取得並運行 GPT-OSS 20B:

* Ollama: 廣受歡迎的本地大型語言模型運行工具,已第一時間支援 GPT-OSS 20B,使用者可透過簡單指令下載並啟動模型。

* Hugging Face: 作為全球最大的機器學習模型社群,Hugging Face 上已提供完整的模型權重供下載與使用。

* 硬體廠商支援: NVIDIA、AMD、Qualcomm 等晶片大廠也相繼宣布,其最新的 GPU 和 AI 處理器已對 GPT-OSS 20B 提供優化支援,確保在各種裝置上都能發揮最佳效能。

* 雲端平台: 微軟 Azure AI Model Catalog 也已上架 GPT-OSS 模型,供企業用戶部署。

GPT-OSS 20B 的釋出,不僅為 AI 開發者和研究人員提供了一個功能強大且易於取得的工具,也預期將催生更多元、更具創意的 AI 應用。從個人化的智慧助理到特定領域的專業工具,其潛力正等待整個社群共同發掘。

留言
avatar-img
Hank吳的沙龍
17會員
161內容數
這不僅僅是一個 Blog,更是一個交流與分享的空間。 期待在這裡與你相遇,一起探索科技、體驗生活、夢想旅行!💖
Hank吳的沙龍的其他內容
2025/08/07
Google 的 Gemini 模型近期(8/6號)推出了名為「引導式學習」(Guided Learning)的強大功能,旨在將傳統的單向問答轉變為互動式、個人化的學習體驗。這項功能宛如一位隨身的 AI 家教,能引導使用者深入理解複雜概念,而不僅僅是提供現成答案。
2025/08/07
Google 的 Gemini 模型近期(8/6號)推出了名為「引導式學習」(Guided Learning)的強大功能,旨在將傳統的單向問答轉變為互動式、個人化的學習體驗。這項功能宛如一位隨身的 AI 家教,能引導使用者深入理解複雜概念,而不僅僅是提供現成答案。
2025/08/06
先說結論:臺灣大學並無舉辦玫瑰花節,其知名的校園花季為「杜鵑花節」,所以寫文章或論文,用AI可不要照抄,先確認來源和多參考其他相關資料。 透過ChatGPT得到以下內容: 「台大玫瑰花節」是台灣大學農場一年一度的重要活動之一,通常在每年春季舉行,約莫落在3月至4月之間。這場活動由台大園藝暨景觀學
2025/08/06
先說結論:臺灣大學並無舉辦玫瑰花節,其知名的校園花季為「杜鵑花節」,所以寫文章或論文,用AI可不要照抄,先確認來源和多參考其他相關資料。 透過ChatGPT得到以下內容: 「台大玫瑰花節」是台灣大學農場一年一度的重要活動之一,通常在每年春季舉行,約莫落在3月至4月之間。這場活動由台大園藝暨景觀學
2025/08/06
它觸及了西洋占星術的核心——個體獨特性。 簡單來說,西洋占星術的可能組合數量是天文數字,幾近無限(Virtually Infinite)。這也是為什麼占星師會說,除了極少數巧合(例如在完全相同的時間和地點出生的「時間雙胞胎」),基本上沒有兩個人擁有完全一樣的星盤。
2025/08/06
它觸及了西洋占星術的核心——個體獨特性。 簡單來說,西洋占星術的可能組合數量是天文數字,幾近無限(Virtually Infinite)。這也是為什麼占星師會說,除了極少數巧合(例如在完全相同的時間和地點出生的「時間雙胞胎」),基本上沒有兩個人擁有完全一樣的星盤。
看更多
你可能也想看
Thumbnail
據美聯社報導,OpenGPT.com 宣佈推出 OpenGPTs。用戶只需要發佈一個OpenGPTs,便能夠整合所有主要的 AI 引擎包括ChatGPT-4o, Google Imagen, Gemini Pro, 以及Claude 3.5等。
Thumbnail
據美聯社報導,OpenGPT.com 宣佈推出 OpenGPTs。用戶只需要發佈一個OpenGPTs,便能夠整合所有主要的 AI 引擎包括ChatGPT-4o, Google Imagen, Gemini Pro, 以及Claude 3.5等。
Thumbnail
2024年5月13日,Openai發布了新一代的模組GPT-4o,念法:GPT-four-O。強調即時對話以及圖像解析能力,官方發布的影片中展現了即席英語-義大利語口譯、程式碼解析、算式解析、人臉表情解析,以及幾乎可媲美真人的語音回應,包含調整語氣、用詞以及模仿機器人語音等,相當令人驚豔。
Thumbnail
2024年5月13日,Openai發布了新一代的模組GPT-4o,念法:GPT-four-O。強調即時對話以及圖像解析能力,官方發布的影片中展現了即席英語-義大利語口譯、程式碼解析、算式解析、人臉表情解析,以及幾乎可媲美真人的語音回應,包含調整語氣、用詞以及模仿機器人語音等,相當令人驚豔。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
OpenAI成立於2015年,旨在以非盈利方式促進AI發展,並避免潛在危害。從GPT-1到GPT-4的發展過程展現了AI無監督學習及多任務學習的潛力。這篇文章回顧了OpenAI在自然語言處理方面的歷程與技術演進,並介紹了各個模型樣本和能力的提升。
Thumbnail
OpenAI成立於2015年,旨在以非盈利方式促進AI發展,並避免潛在危害。從GPT-1到GPT-4的發展過程展現了AI無監督學習及多任務學習的潛力。這篇文章回顧了OpenAI在自然語言處理方面的歷程與技術演進,並介紹了各個模型樣本和能力的提升。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
ChatGPT新模型GPT-4o即將推出,速度更快,並支援處理影片以及多種語言。免費用戶也可以使用ChatBots,而付費版本則限制頻寬並提高至原本的5倍。此外,還將推出ChatGPT桌面應用程式,讓使用者在電腦上進行各項工作時,更輕鬆地使用ChatGPT。
Thumbnail
ChatGPT新模型GPT-4o即將推出,速度更快,並支援處理影片以及多種語言。免費用戶也可以使用ChatBots,而付費版本則限制頻寬並提高至原本的5倍。此外,還將推出ChatGPT桌面應用程式,讓使用者在電腦上進行各項工作時,更輕鬆地使用ChatGPT。
Thumbnail
先前有消息指出,為了將低對外購 AI 晶片的依賴,微軟投資支持的生成式 AI 應用大廠 OpenAI 已經開始自行設計與生產相關晶片的計畫,並且已經接觸了包括博通 (Broadcom) 等多家晶片大廠。
Thumbnail
先前有消息指出,為了將低對外購 AI 晶片的依賴,微軟投資支持的生成式 AI 應用大廠 OpenAI 已經開始自行設計與生產相關晶片的計畫,並且已經接觸了包括博通 (Broadcom) 等多家晶片大廠。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
OpenAI 春季發布會推出了 GPT-4o 模型,免費且響應速度更快,具備文字、音訊、影像的多模態輸入功能。
Thumbnail
OpenAI 春季發布會推出了 GPT-4o 模型,免費且響應速度更快,具備文字、音訊、影像的多模態輸入功能。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News