無需上網也能跟 AI 對話!Ollama:在本地端運行大型語言模型的免費工具,支援 LLaMA 2、GPT-OSS 等

更新於 發佈於 閱讀時間約 5 分鐘

Ollama 下載https://ollama.com/download


Ollama 是一個在自己的電腦(本地端)運行大型語言模型(LLM)的工具與平台。可以完全不需要連上網路就能夠使用。適合比較有機敏性的,避免意外泄露機密,不能透過雲端使用的專利研發者或企業。或是想免費無限量使用大型語言模型工具。但相對非常依賴自己的電腦記憶體和顯示卡的效能。先前在介紹 Sider AI 的 自訂 API 金鑰曾以 Ollama 為例,介紹其安裝方式。Ollama 也在上月有自己的圖形介面,不需要只在終端機操作。

Ollama 是由 Jeffrey MorganMichael Chiang 共同創立的,總部設在美國加州帕洛阿爾托(Palo Alto, CA),曾參加 Y Combinator 2021 年冬季(W21)創業加速器計畫,他們希望打造一個類似 Docker 的簡易本地開發體驗平台,讓使用者可以像執行 ollama run llama2 一樣,輕鬆快速地運行大型語言模型:本地、私密、易用。支援模型包括 LLaMA 2、Mistral、Gemma、TinyLLaMA、Phi 等

OpenAI gpt-oss

OpenAI 在8 月 5 日推出2款「gpt-oss」開源大型語言模型 120b(1200 億參數)與 20b(200 億參數)。採用Apache 2.0 授權允許用戶免費下載模型使用。還可以依照自身需求對模型進行修改、微調與部署,應用於商業部署,不必額外付費或申請授權。參照 OpenAI gpt-oss 模型說明:https://openai.com/zh-Hant/index/introducing-gpt-oss/

“ 若不想連網使用Turbo模式,只在本機端運作,建議高階筆電再安裝此模型 ” MacBook ProROG Flow 高規格電競筆電

相關資料:


步驟1:下載並安裝 Ollama

Ollama 下載https://ollama.com/download

步驟2:啟動 Ollama

安裝好後,點擊右上方白色羊駝圖示即可開啟,此時還沒安裝大型語言模型。

raw-image

步驟3:安裝 大型語言模型

對話框由左至右依序為「 搜尋網路」、「Turbo模式」、「目前模型選擇」、「發送訊息」。首次輸入文字對話即立即安裝目前所選的模型。 非高階筆電可以先選擇輕量化「deepssek-r1:1.5b」。非高階筆電若想嘗試「gpt-oss:120b」建議需開啟 Turbo模式才不會等待回應很久。 一台筆電可以安裝多個語言模型。 b的數值越高越聰明但是相對運算時間越長,需要更好的GPU以及更大記憶體。

raw-image
首次對話即安裝該語言模型

首次對話即安裝該語言模型

Turbo 模式

Turbo 模式是額外付費服務,每月需要20美元,提供用戶每7天有「10,000 tokens」的免費額度,可以體驗雲端加速運算服務。https://ollama.com/turbo

raw-image

挑選其他模型

更多開源模型可以至官網挑選。 https://ollama.com/search 進到該模型頁頁面查詢版本號。例如 qwen3 只要在終端機輸入 ollama run qwen3:0.6b 就開始安裝了。

raw-image

安裝好後,就能直接輸入文字測試AI回應,或是關閉終端機。

測試完成可以關閉終端機,直接在 Ollama 圖形介面運行。

空間考量推薦:

  • ollama run qwen3:0.6b (523MB)
  • ollama run gemma3:1b (815MB)
  • ollama run deepseek-r1:1.5b (1.1GB)
  • ollama run llama3.2:1b (1.3GB)

一般筆電推薦:

  • ollama run phi4:14b(9.1GB)
  • ollama run deepseek-r1:8b(5.2GB)
  • ollama run deepseek-r1:14b(9.0GB)
  • ollama run gemma3n(7.5GB)
  • ollama run gemma3:4b(3.3GB)

查詢目前已安裝的語言模型

在終端機打 ollama list 即可查詢目前已安裝的語言模型

raw-image

移除語言模型

在終端機打 ollama rm 模型代號 即可移除該模型。

raw-image

相關資料:

留言
avatar-img
留言分享你的想法!
avatar-img
林位青的沙龍
26會員
47內容數
林位青的沙龍的其他內容
2025/09/06
Perplexity Pro 免費領取活動開跑!只要你是 PayPal 或 Venmo 用戶,即可免費獲得價值 200 美元(約新臺幣 6,140 元)的 Perplexity Pro 一年訂閱資格。文章說明詳細領取步驟及取消自動扣款教學,快來享受 Perplexity AI 搜尋引擎的強大功能!
Thumbnail
2025/09/06
Perplexity Pro 免費領取活動開跑!只要你是 PayPal 或 Venmo 用戶,即可免費獲得價值 200 美元(約新臺幣 6,140 元)的 Perplexity Pro 一年訂閱資格。文章說明詳細領取步驟及取消自動扣款教學,快來享受 Perplexity AI 搜尋引擎的強大功能!
Thumbnail
2025/08/31
Google Gemini 2.5 Flash Image,代號 nano-banana,是一款強大的多模態圖像生成模型。本文將深入探討其特點、進階設定(Temperature、Top P、Safety settings)與角色風格一致性、生活照轉換、局部修圖、多圖融合、草圖生成等應用 ......
Thumbnail
2025/08/31
Google Gemini 2.5 Flash Image,代號 nano-banana,是一款強大的多模態圖像生成模型。本文將深入探討其特點、進階設定(Temperature、Top P、Safety settings)與角色風格一致性、生活照轉換、局部修圖、多圖融合、草圖生成等應用 ......
Thumbnail
2025/08/20
MGX 是一個多智能代理 AI 平臺,讓使用者能透過自然語言建立網站、部落格、遊戲等,無需編寫程式碼。它基於開源項目 MetaGPT,模擬軟體公司內不同角色的協同工作流程。MGX 提供兩種模式:工程師模式和團隊模式(模擬完整開發流程)。其特色包括接近人類可理解的專案流程、高度的可擴展性和靈活性。
Thumbnail
2025/08/20
MGX 是一個多智能代理 AI 平臺,讓使用者能透過自然語言建立網站、部落格、遊戲等,無需編寫程式碼。它基於開源項目 MetaGPT,模擬軟體公司內不同角色的協同工作流程。MGX 提供兩種模式:工程師模式和團隊模式(模擬完整開發流程)。其特色包括接近人類可理解的專案流程、高度的可擴展性和靈活性。
Thumbnail
看更多
你可能也想看
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續xxxx,ChatGPT 產生的程式,我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型,實作Chat GPT - Part 0
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續xxxx,ChatGPT 產生的程式,我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型,實作Chat GPT - Part 0
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 32中,展示了OpenAI的API如何使用,儘管 API 可以滿足許多需求,但它們也有其限制,例如,多用途 API 可能在所有任務
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 32中,展示了OpenAI的API如何使用,儘管 API 可以滿足許多需求,但它們也有其限制,例如,多用途 API 可能在所有任務
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要操作ChatGPT,我們可以參考OpenAI的範例: https://platform.openai.com/examples/default-sql-trans
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要操作ChatGPT,我們可以參考OpenAI的範例: https://platform.openai.com/examples/default-sql-trans
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News