⭐使用多張顯卡（Multi-GPU）訓練大語言模型（LLM）已經是現代 AI 開發的標配。由於 LLM 的參數規模動輒數十億（Billion），單張顯卡的顯存（VRAM）往往無法容納完整的模型與訓練數據，因此我們需要透過**並行運算（Parallelism）**來解決。
以下是主流的幾種技術方案與實作工具：🤖 1️⃣ 核心並行技術
根據模型大小與硬體資源，通常會採用以下幾種策略：
數據並行 (Data Parallelism - DP/DDP)
這是最常見的方式。將模型複製到每張顯卡上，但將訓練數據切分成不同份。每張卡計算各自的梯度，最後再進行同步。
- 適用場景： 模型小到可以放進單張顯卡的顯存，但想縮短訓練時間。
- 常用工具： PyTorch DistributedDataParallel (DDP)。
模型並行 (Model Parallelism)
👉當模型太大，連一張顯卡都放不下時，就必須把模型「拆開」。
- 張量並行 (Tensor Parallelism, TP)： 將矩陣運算拆分到不同 GPU（例如 Transformer 的層內運算）。適合超大規模模型。
- 流水線並行 (Pipeline Parallelism, PP)： 將模型的不同層（Layers）放在不同的 GPU 上。第一張卡跑前幾層，傳給第二張卡跑中間幾層。
ZeRO (Zero Redundancy Optimizer)
👉這是 DeepSpeed 提出的核心技術，目前非常流行。它透過消除冗餘來節省顯存：
- ZeRO-1/2： 分散優化器狀態與梯度。
- ZeRO-3： 連模型參數也分散到各張顯卡，實現「單卡跑巨型模型」的可能性。
🧠 2️⃣ 推薦工具與框架
如果你不想從底層寫起，以下框架提供了開箱即用的多卡支援：
🐱 3️⃣ 實作步驟範例 (以 Hugging Face 為例)
這是目前最推薦給初學者的流程：
📌 安裝依賴：
</>Bash
pip install accelerate transformers datasets
📚 配置環境： 在終端機輸入 accelerate config。它會詢問你有幾張 GPU、是否使用 DeepSpeed 等。
🚀 啟動訓練： 不使用 python train.py，而是改用：
</>Bash
accelerate launch train.py
🎭 4 關鍵硬體瓶頸：NVLink在多卡訓練中，顯卡之間的通訊帶寬非常重要。
- 如果你使用消費者等級顯卡（如 RTX 4090），通常走的是 PCIe 總線，速度較慢。
- 如果你使用企業級顯卡（如 A100/H100），它們支援 NVLink，能讓 GPU 之間以極高速度交換數據，這對於模型並行（TP/PP）至關重要。
