🚀 線性代數 x 機器學習重點
一、 向量與矩陣：資料的「容器」
在機器學習裡，這不只是數字，而是資料的結構。
- 向量 (Vector)：表示一串有方向的數值，可代表單筆資料特徵、模型參數、文字/圖片嵌入向量、梯度
- 點積 (Dot Product)：衡量方向相似度與計算投影大小。
- L2 範數 (L2 Norm)：向量從原點到該點的距離，也就是向量長度，常用於正規化與 L2 正則化。
- 矩陣 (Matrix)：可理解為「表格型資料」，由多列多欄數字組成，可代表資料矩陣 X 或權重矩陣 W
- 矩陣乘法：神經網路會用矩陣乘法，把輸入特徵轉換成新的特徵：z = Wx + b。
- 偽逆矩陣：當矩陣無法直接求反矩陣時，可用偽逆找到最接近的最佳解。
二、 線性變換：特徵的「變形術」
線性變換就是透過矩陣運算，把資料在空間中旋轉、縮放或投影。
- 幾何意涵：縮放 (Scaling)、旋轉 (Rotation)、投影 (Projection)。
- AI 應用連結：
- PCA (主成分分析)：找出資料變化最大的方向，保留主要資訊並減少維度。
- 神經網路：每層先做線性變換 Wx+b，再接非線性激活函數，讓資料從原始特徵空間映射到更有代表性的隱藏層空間。
三、 矩陣分解
分解方法 | 適用對象 | 核心關鍵字 | 典型 AI 應用場景 |
特徵值分解 (EVD) | 方陣，尤其 對稱矩陣 最常見 | 特徵向量、特徵值 | PCA 的協方差矩陣分解、LDA 等 |
奇異值分解 (SVD) | 任意矩陣 | 左/右奇異向量、奇異值 | 推薦系統、影像壓縮、LSA/語意分析 |
非負矩陣分解 (NMF) | 非負矩陣 | 可加疊部件、稀疏性 | 主題建模、文字與影像特徵分解 |
四、 維度簡化
實務上，特徵過多可能造成維度災難、過擬合、共線性、運算成本高。維度簡化（降維）有四大好處：
- 提升運算效率：模型跑得快。
- 防止過擬合 (Overfitting)：去除雜訊，讓模型變穩定。
- 解決共線性：處理特徵之間互相干擾的問題。
- 視覺化：把高維資料投射到 2D/3D，方便老闆看圖。
五、 最小平方估計 (OLS)：線性迴歸的靈魂
- 目標：找出一組參數，讓「預測值與實際值的誤差平方和」最小。
- 幾何本質：將目標向量 y 投影到 X 的欄空間。
- 應用場景：用於預測連續數值（Regression），如房價、營收、分數。
透過預備 iPAS AI 應用規劃師 (中級) 考試，加強 AI 知識。
※ 內容參考 iPAS 官方學習指引，由 AI 整理產製
