LSTM
含有「LSTM」共 9 篇內容
全部內容
發佈日期由新至舊
本篇以武俠情境解析 AI 大腦架構，介紹 CNN、RNN 與 Transformer 在處理影像與序列資料時的差異。透過情報陣法失靈案例，說明長距離依賴問題與自注意力機制，並延伸至 Transformer-XL 與自編碼器在長文本處理與資料壓縮上的應用，協助建立生成式 AI 核心模型理解。
本篇為《白話實驗室》第二章 AI 教材模組，介紹神經網路核心架構：
CNN、RNN、LSTM、GRU 與 T（Transformer）。
解析各模型適用的資料型態與處理能力，說明現代大型語言模型（如 GPT）為何建立於 T 架構之上，適用於 AI 入門與 iPAS 應用規劃師考試基礎知識。
本文為 iPAS AI 應用規劃師考試的複習資料，涵蓋 CNN、RNN、Transformer、LSTM 和 GAN 等 AI 技術的基礎概念與應用。
▷ RNN、LSTM 與 Transformer：突破框架的思考方式
在 AI 領域中，隨著自然語言處理的需求加劇，以及在硬體算力提升與大數據時代的到來，處理「序列」關係的神經網路模型也隨之逐步演進。
▷ Transformer 的概念
1.誕生
Transformer 就是為了解決 RNN、LSTM 傳統處理序列關係的模型所遭遇的問題而發明的。**
二、長短期記憶 (Long Short-Term Memory/ LSTM)
▷ LSTM 的概念
1. LSTM 是為了解決 RNN 的「梯度消失」問題而誕生的。
▪︎ RNN的問題：隱藏狀態的更新是透過多層非線性函數，梯度的函數會隨著反覆地權重計算而趨近0，導致梯度消失。
▪︎ 在當時(19
前言：
神經網路模型，有處理圖片這類以「空間關係」數據為主的卷積神經網路 (CNN)，也有處理以「時間或順序關係 (i.e. 序列數據/Sequential Data)」數據為主的「循環神經網路(Recurrent Neural Network/ RNN。
這次要一口氣介紹三個都是處理「序列」和
我們來深入淺出地拆解一下比 RNN 更強大的 LSTM 模型。
我們認識了 RNN，它像一個有短期記憶的學徒，能夠記住緊鄰的上下文。但如果句子很長，資訊很複雜，RNN 就會像金魚腦一樣，忘記開頭的關鍵資訊。這就是所謂的「長期依賴問題」。
長短期記憶（英語：Long Short-Term Memory，LSTM）是一種時間循環神經網路（RNN），論文首次發表於1997年。
LSTM（長短期記憶）是一種特定類型的遞歸神經網絡（RNN），在許多需要處理時間序列數據或順序數據的應用中非常有用。
以下是一些常見的 LSTM 應用：
