🚀 【資料科學的數學基礎課|第10課】 梯度是什麼?資料科學家的方向感知器!

更新 發佈閱讀 3 分鐘

你有沒有玩過迷宮遊戲?每走一步,你都會想:「往哪裡走最接近出口?」

在資料科學裡,我們也有類似的問題。當電腦模型想要「變得更準確」,它也需要知道往哪裡調整自己,才能表現更好。而梯度(Gradient),就是幫助模型「指引方向」的關鍵工具!


🔎 梯度是什麼?

簡單來說,梯度是一種向量(有大小和方向的量),它告訴我們:

👉 在某個點上,函數往哪個方向「爬升」得最快。

舉例來說:

如果有個函數 f(x, y) = 3x²y,那它的梯度就是:

∇f(x, y) = [6xy, 3x²]

這表示,在某個位置,我們知道沿著 x 或 y 方向移動,哪一邊讓函數變大最快(也可以用來找讓它變小的方向喔!)


🧮 為什麼需要梯度?

機器學習中,我們常常需要讓模型的錯誤(也就是損失函數)越來越小。

這就像滑滑梯一樣,我們要讓模型從高處滑下來,找到最低點,也就是「最小錯誤」。

那怎麼找這條下滑路徑呢?

這就要靠「梯度」來指引方向,我們稱這個過程為:

🎯 梯度下降法(Gradient Descent)


🧠 小進階:多輸出怎麼辦?

如果我們的模型不只一個輸出,而是很多個輸出(像是同時預測身高和體重),那就不能只用一個梯度向量了。

這時候,我們會用一種叫做 Jacobian 矩陣 的東西,把每個輸出對每個輸入變數的變化都記下來,整理成一張表(矩陣)。


🧰 梯度的應用:動手做看看!

想要更進一步了解梯度怎麼影響模型學習嗎?

可以用 Python 做簡單的視覺化,觀察「損失函數」像山一樣起伏,梯度告訴我們怎麼走下山找到最低點!

想了解的話留言給您Python練習程式碼~!


🔚 小結

  • 梯度告訴我們函數在哪裡變化最快
  • 它是訓練機器學習模型的關鍵
  • 想像它像指南針,幫模型「找到最佳答案的方向」

學會這個概念後,你就朝資料科學家的方向邁進一大步啦!

留言
avatar-img
溫蒂的夢幻島航海日誌
1會員
19內容數
我是 Wendy,一位相信知識可以讓世界更美好的學習者。 白天是品保工程師,晚上是資料筆記的整理者。 正在深入統計與品質管理,也持續探索資料科學與商業邏輯的連結。 偶爾也會記錄家庭經營、親子對話與自由工作者的嘗試。 每一篇文章,都是給自己的備忘錄,也希望成為你前行路上的地圖。
2025/08/06
學習AI人工智慧需要數學嗎?答案是肯定的!本文用簡單易懂的比喻,說明導數在機器學習中的重要性,以及如何應用導數進行梯度下降等關鍵步驟,並提供學習資源與方向。
Thumbnail
2025/08/06
學習AI人工智慧需要數學嗎?答案是肯定的!本文用簡單易懂的比喻,說明導數在機器學習中的重要性,以及如何應用導數進行梯度下降等關鍵步驟,並提供學習資源與方向。
Thumbnail
2025/08/04
這篇文章深入淺出地解釋了特徵分解在 PCA 降維中的數學原理,並以簡潔易懂的方式說明如何利用特徵值和特徵向量提取資料中最主要的資訊。文章末尾設計了一個小測驗,幫助讀者鞏固所學,並鼓勵讀者分享想用 PCA 完成的專案或需要更詳細圖解的部分。
Thumbnail
2025/08/04
這篇文章深入淺出地解釋了特徵分解在 PCA 降維中的數學原理,並以簡潔易懂的方式說明如何利用特徵值和特徵向量提取資料中最主要的資訊。文章末尾設計了一個小測驗,幫助讀者鞏固所學,並鼓勵讀者分享想用 PCA 完成的專案或需要更詳細圖解的部分。
Thumbnail
2025/08/04
本篇文章以淺顯易懂的方式介紹主成分分析(PCA),說明其原理、步驟及應用,並透過生活化的例子(打包行李)幫助讀者理解,最後設計小測驗加深印象。
Thumbnail
2025/08/04
本篇文章以淺顯易懂的方式介紹主成分分析(PCA),說明其原理、步驟及應用,並透過生活化的例子(打包行李)幫助讀者理解,最後設計小測驗加深印象。
Thumbnail
看更多
你可能也想看
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述,經過 AI說書 - 從0開始 - 74 到目前為止的實驗,應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述,經過 AI說書 - 從0開始 - 74 到目前為止的實驗,應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
中學數學基礎練習—分數計算
Thumbnail
中學數學基礎練習—分數計算
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
高中數學主題練習—分點計算
Thumbnail
高中數學主題練習—分點計算
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先做個總回顧: Transformer 架構總覽:AI說書 - 從0開始 - 39 Attention 意圖說明:AI說書 - 從0開始 - 40 Transfo
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先做個總回顧: Transformer 架構總覽:AI說書 - 從0開始 - 39 Attention 意圖說明:AI說書 - 從0開始 - 40 Transfo
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 繼 AI說書 - 從0開始 - 82 與 xxx ,我們談論了衡量 AI 模型的方式,那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時,需要
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 繼 AI說書 - 從0開始 - 82 與 xxx ,我們談論了衡量 AI 模型的方式,那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時,需要
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News