"LSTM (Long Short-Term Memory)" 是一種特殊的遞迴神經網路 (RNN) 架構，旨在解決標準 RNN 在處理長序列數據時遇到的梯度消失和記憶長期依賴關係困難的問題。它通過引入稱為「門 (gates)」的機制來控制信息的流動，使其能夠更好地學習和保留長期信息。
你可以將 LSTM 想像成一個擁有更複雜記憶功能的 RNN 單元。標準 RNN 的隱藏狀態在每個時間步都會被完全覆蓋，而 LSTM 則擁有一個額外的「單元狀態 (cell state)」，這個單元狀態可以像一條傳送帶一樣，在時間上攜帶重要的信息，並且能夠通過門機制進行修改。LSTM 的核心組件：門 (Gates)
LSTM 單元主要由三個門控制信息的流動：
- 遺忘門 (Forget Gate): 決定哪些來自先前單元狀態的信息應該被遺忘。它接收前一個時間步的隱藏狀態和當前輸入，並輸出一個 0 到 1 之間的值，表示遺忘的程度（0 表示完全遺忘，1 表示完全保留）。
- 輸入門 (Input Gate): 決定哪些來自當前輸入的信息應該被更新到單元狀態中。它也接收前一個時間步的隱藏狀態和當前輸入，並輸出兩個部分：
- 一個決定哪些信息需要更新的Sigmoid層。 一個候選值的Tanh層，表示可能要加入到單元狀態的新信息。 然後，這兩個輸出會進行元素級的乘法，決定哪些新的信息真正被添加到單元狀態中。
- 輸出門 (Output Gate): 決定當前單元狀態中的哪些信息應該作為當前時間步的輸出（隱藏狀態）。它接收前一個時間步的隱藏狀態和當前輸入，並輸出一個 0 到 1 之間的值，表示輸出的程度。然後，它會將當前單元狀態通過一個 Tanh 函數進行處理，並與輸出門的輸出進行元素級的乘法，最終得到當前時間步的隱藏狀態。
LSTM 的運作方式 (簡化版):
- 遺忘階段： 遺忘門根據先前的隱藏狀態和當前輸入，決定哪些舊信息應該從單元狀態中丟棄。
- 輸入階段： 輸入門根據先前的隱藏狀態和當前輸入，決定哪些新的信息應該被添加到單元狀態中。
- 更新階段： 結合遺忘門和輸入門的決策，更新單元狀態。
- 輸出階段： 輸出門根據更新後的單元狀態、先前的隱藏狀態和當前輸入，決定當前時間步的輸出（新的隱藏狀態）。
LSTM 的優點：
- 緩解梯度消失問題： LSTM 的門機制可以有效地控制梯度的流動，使得梯度在反向傳播時不容易消失，從而可以訓練更深的 RNN 和處理更長的序列。
- 記憶長期依賴關係： 單元狀態的引入使得 LSTM 能夠在很長的時間跨度內保留和利用信息，這對於理解長文本、時間序列預測等任務非常重要。
LSTM 的應用：
由於其優越的性能，LSTM 被廣泛應用於各種序列數據處理任務，包括：
- 自然語言處理 (NLP):
- 文本生成 (Text Generation) 機器翻譯 (Machine Translation) 情感分析 (Sentiment Analysis) 問答系統 (Question Answering)
- 語音辨識 (Speech Recognition)
- 時間序列預測 (Time Series Forecasting)
- 影像描述 (Image Captioning)
- 音樂生成 (Music Generation)
總之，LSTM 是一種非常強大且廣泛使用的遞迴神經網路變體，它通過引入門機制有效地解決了標準 RNN 的一些關鍵問題，並在處理各種序列數據任務中取得了巨大的成功。
