Stochastic Gradient Descent,隨機梯度下降

更新 發佈閱讀 1 分鐘


SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。


優點:

1.更新速度快,適合大規模數據。

2.可跳出鞍點或局部極小值。

應用:

1.機器學習模型(如線性迴歸、SVM、深度學習)。

2.優化非凸函數(如神經網絡)。 


vocus|新世代的創作平台


留言
avatar-img
Princend的沙龍
0會員
34內容數
Princend的沙龍的其他內容
2025/01/26
這本書旨在幫助創作者分享他們的過程並與受眾建立聯繫,而非僅僅是推銷自己。 ## 第一章:你不需要是個天才 * **創造力不只是天賦,而是一種運作方式** 。 * 不要相信「孤獨的天才」神話,偉大的作品往往來自於一個互相支持、彼此學習的「群體」(**scenius**)
Thumbnail
2025/01/26
這本書旨在幫助創作者分享他們的過程並與受眾建立聯繫,而非僅僅是推銷自己。 ## 第一章:你不需要是個天才 * **創造力不只是天賦,而是一種運作方式** 。 * 不要相信「孤獨的天才」神話,偉大的作品往往來自於一個互相支持、彼此學習的「群體」(**scenius**)
Thumbnail
2024/12/31
今年嘗試往不同領域去學習 甚至裸辭參加AI職訓班 雖然成長的幅度沒有想像的那麼好 但是至少是有成長的 期待未來的我 能夠持續學習 達到心中所想的目標
Thumbnail
2024/12/31
今年嘗試往不同領域去學習 甚至裸辭參加AI職訓班 雖然成長的幅度沒有想像的那麼好 但是至少是有成長的 期待未來的我 能夠持續學習 達到心中所想的目標
Thumbnail
2024/12/25
馬可夫鍊(Markov Chain) 是一種數學模型,用來描述一個系統在不同狀態之間的轉移過程,特點是未來的狀態只取決於當前狀態,而與過去的狀態無關。這種性質稱為馬可夫性質,即「無記憶性」。馬可夫鍊常用於統計學、機器學習、經濟學、生物學等領域。
Thumbnail
2024/12/25
馬可夫鍊(Markov Chain) 是一種數學模型,用來描述一個系統在不同狀態之間的轉移過程,特點是未來的狀態只取決於當前狀態,而與過去的狀態無關。這種性質稱為馬可夫性質,即「無記憶性」。馬可夫鍊常用於統計學、機器學習、經濟學、生物學等領域。
Thumbnail
看更多
你可能也想看
Thumbnail
Standard Deviation Projections(SDP)是一項相當好用的價位計算技巧,利用PO3的操縱段來當作基數,計算預期價格出現阻力或扭轉的位置。
Thumbnail
Standard Deviation Projections(SDP)是一項相當好用的價位計算技巧,利用PO3的操縱段來當作基數,計算預期價格出現阻力或扭轉的位置。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。 優點: 1.更新速度快,適合大規模數據。 2.可跳出鞍點或局部極小值。 應用:
Thumbnail
SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。 優點: 1.更新速度快,適合大規模數據。 2.可跳出鞍點或局部極小值。 應用:
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
Thumbnail
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
Thumbnail
每日『市場指數』能快速判斷短中期趨勢方向!透過量化權重計算美股、台股、加密貨幣的短中期趨勢概況,簡化你的投資決策時間,請注意量化數據都是概率性不是絕對,長期的大賺小賠才是王道,追蹤我讓投資比呼吸還簡單!
Thumbnail
每日『市場指數』能快速判斷短中期趨勢方向!透過量化權重計算美股、台股、加密貨幣的短中期趨勢概況,簡化你的投資決策時間,請注意量化數據都是概率性不是絕對,長期的大賺小賠才是王道,追蹤我讓投資比呼吸還簡單!
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News