SD-LINE-BOT vLLM | Qwen2.5:4b | 美以vs伊朗戰爭

SD-LINE-BOT 自從導入LLM¹(Qwen2.5:4b)，讓他扮演sdwebui² prompt³轉譯員。

現在可以用中文生成圖，產出更多的圖像素材。

LINE⁴ Chat實測：

SD-LINE-BOT vLLM

同樣的描述

Qwen2.5:4b

總結

1. LLM優劣：[優勢]多國語言、描述、詞彙關聯性、減少冗長的描述；[劣勢]硬體GPU決定可運算的LLM大小。
2. 硬體條件：礙於RTX4060 8GB, SD-LINE-BOT vLLM使用Qwen2.5:4b作為轉譯員，其生成圖prompt上下文長度有限。
3. 需求：基本顯示卡的算力，搭配最佳的LLM模型大小，既可避免記憶體崩潰(OOM⁵)及維持顯示卡最佳算力運作，即為解決方案。

免費與限制

AI工具資料搜集能力，堪稱21世紀中葉網路世代一絕！

AI工具爬取的網路資料亦結合生成圖，將虛幻抽象的概念以圖像化視覺傳達。

ChatGPT

by ChatGPT

註釋

1. LLM：Large Language Model，是一種基於深度學習和 Transformer 架構的 AI，透過訓練海量文字數據來理解、總結、翻譯、預測和生成自然語言內容。
2. SDWEBUI：StableDiffusion WebUI，Stable Diffusion是2022年發布的深度學習文字到圖像生成模型。它主要用於根據文字的描述產生詳細圖像，儘管它也可以應用於其他任務，如內補繪製、外補繪製，以及在提示詞指導下產生圖生圖的轉變。
3. prompt：在中文中通常翻譯為提示、提示詞、指令或引導語。在人工智慧（AI）領域，它指的是用戶輸入給 AI 模型（如 ChatGPT）的文字，用於引導模型產生相應的內容、回答問題或執行任務。
4. LINE：是由韓國Naver集團開發的即時通訊平台，於2011年6月創始。
5. OOM：out of memory，記憶體溢出/不足。