📚 iPAS AI 應用規劃師(中級)：快速重點整理 - 科目三 - L23304 模型調整與優化

核心重點

關鍵概念

超參數調校

學習率（Learning Rate）影響收斂速度與穩定性。
批次大小（Batch Size）影響梯度估計噪聲、訓練穩定度與記憶體使用量。

激活函數選擇

ReLU 常用於隱藏層，因為計算快，且可緩解梯度消失。
Sigmoid 常用於二元分類，也可用於多標籤輸出。
Softmax 用於多類別單選，輸出機率總和為 1。
Tanh 常用於需要零中心輸出的情境，輸出範圍為 -1 到 1。

優化器特性

Adam 是常用的自適應學習率優化器。
Adagrad 適合稀疏特徵。
Momentum 通常是指 SGD 加上動量，可加速收斂並減少震盪。

正則化技術

L1 會促進稀疏解，常用於特徵選擇。
L2 會讓權重變小但通常不會變成 0，有助模型穩定與降低過擬合。

資料不平衡處理

過採樣（Oversampling）增加少數類樣本。
欠採樣（Undersampling ）減少多數類樣本。
Class Weight 透過調整損失權重強化少數類的重要性。
SMOTE 屬於過採樣，會合成新樣本。

模型壓縮技術

知識蒸餾是大模型教小模型。
量化是把高精度表示改成低精度表示，如 FP32 轉 INT8。
剪枝是移除貢獻低的權重或連線。

參數

過高 / 過大

過低 / 過小

學習率

容易震盪、無法收斂，嚴重時可能梯度爆炸。

收斂很慢，可能長時間停在不佳區域或需要很多步才接近較佳解。

批次大小

梯度估計較穩定，但較耗記憶體，且泛化表現有時不如小批次。

噪聲較大、訓練較不穩，但有時較有助於泛化與跳離不佳解。

比較項目

L1 正則化（Lasso）

L2 正則化（Ridge）

Elastic Net

懲罰類型

權重絕對值總和。

權重平方總和。

L1 + L2 的組合。

主要效果

促進稀疏化，會把部分不重要權重直接壓成 0。

讓權重縮小、模型更平滑，但通常不會變成 0。

兼具部分稀疏性與穩定性，稀疏程度通常介於 L1 與 L2 之間。

常見用途

想自動做特徵選擇、簡化模型時。

想降低過擬合、處理共線性、提升穩定性時。

L1 與 L2 折衷，適合相關特徵多、又想兼顧篩選與穩定時使用。

策略名稱

核心作用

重點細節

口訣

Dropout

防止過擬合、提升泛化能力。

只在訓練階段啟用；推論／測試階段不啟用，不會再隨機丟棄神經元。

訓練時隨機關閉部分神經元，測試時不啟用。

Early Stopping
早停法

防止過擬合，並減少不必要的訓練時間。

通常監控驗證集表現，例如 validation loss 或 validation accuracy；當連續數個 epoch 不再改善時停止訓練。

看驗證集，沒進步就停。

Mini-batch

在訓練速度、梯度估計品質與記憶體使用之間取得平衡。

Batch Size 需要調校；太大較穩定但耗記憶體，太小噪聲較大但可能有助泛化。

每次使用一小批樣本更新參數，以兼顧效率、穩定性與記憶體使用。

Learning Rate
學習率

控制每次參數更新幅度，影響收斂速度與穩定性。

常見策略包含 Warm-up 與 Decay；Warm-up 可讓初期訓練較穩，Decay 可讓後期更平滑收斂。

前期可暖身，後期要降速。