Ollama 初步筆記

戴個頭盔先，呢篇唔係教學，只係學習過程寫低比自己睇，有人撞左入來，啱用自己睇，有錯請指教下　^^

由於向PVE上面行左個CT 專門來玩下Ollama，由於做左既野唔少，先求其寫住一啲，有可能無前無後，後面會再整理（如有時間同興緻）。

同Ollama就無關，但同我個環境設定有關，留個位第日補返個CT 加static route問題。
(例如要寫返裝返net-tools)

咁用左個Debian 12 CT，唔理啦，裝左Python3，跟住裝 ollama :

curl -fsSL https://ollama.com/install.sh | sh

原則上佢會自動startup，用 netstat -tunl 可以見佢 11434 port bind住左:

咁就証明佢行緊。

用返official 教用curl 個方法去試，正常會有想要的Response:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?"
}'

咁搞完一大輪佢會 done:true，代表已經講完。

跟住搵到呢件野，不過佢行PHP，而且用shell_exec() send過去。

https://github.com/iamgmujtaba/llama3.2-webUI

如果想用到Chat，一係就搞OpenWebUI，一係自己來。睇返curl例子應該可以自己來，同埋我有其他想法要做，都係試下自己來好。

不過由於ollama server只係聽住127.0.0.1，一係就改server setting，一係裝個Proxy。呢個過程中，關於Port mapping同port bind有啲位要寫下同仲要研究，呢度又留個位先。

咁跟住裝Nginx

 apt install nginx

跟返個指示裝返PHP係行到既，咁當然唔會咁止步。

跟住想自己試下Ollama server個API，先更多野玩，唔穿Port就用Proxy：

改下個Config:

搞左輪，都係無野返，

而Firefox 搵唔到Postman，問下高手又Google下，向nginx.conf加左幾句:

                proxy_buffering off;
                proxy_set_header Origin '';
                proxy_set_header Referer '';

叫做行到，有其他野要搞，呢件野又放埋一邊先。