Seq2Seq

更新 發佈閱讀 2 分鐘

Seq2Seq(Sequence-to-Sequence)是一種深度學習架構,專門用來處理可變長度的序列輸入並生成可變長度的序列輸出,特別適合語言翻譯、文本摘要、語音識別等自然語言處理任務。

核心架構-Encoder-Decoder

Encoder(編碼器):將輸入序列逐步讀入,提取其重要資訊,並將整個序列壓縮成一個固定長度的向量(稱為上下文向量或語義向量)。這個向量包含了輸入序列的核心語意。現代架構常用 LSTM、GRU 或 Transformer 來實現 Encoder。

Decoder(解碼器):接收 Encoder 傳來的上下文向量,依序生成輸出序列的每個元素。Decoder 在生成每個詞時,會考慮上下文向量和先前已生成的詞。

運作流程

1. 輸入一串序列(如一句英文句子)給 Encoder。

2. Encoder 編碼成一個向量表徵輸入內容。

3. Decoder 從該向量開始,逐個生成對應的輸出序列(如對應的中文句子),直到產生結束符號。

重要特色

可處理長度不固定的序列輸入與輸出。

通常搭配「注意力機制(Attention)」使用,以提升性能,讓 Decoder 在生成時能動態聚焦輸入序列的不同部分。

可適用於翻譯、摘要、語音轉文字、影像描述等多種序列轉換任務。

簡單比喻

Seq2Seq 就像一個翻譯官,先聽完整句子(Encoder 聽懂整句話),然後根據理解逐字翻譯成另一種語言(Decoder 輸出翻譯結果)。

總結:

Seq2Seq 是一種強大的模型架構,利用 Encoder-Decoder 形式處理序列到序列的轉換問題,是現代 NLP 任務中核心的技術基礎之一。

留言
avatar-img
郝信華 iPAS AI應用規劃師 學習筆記
46會員
572內容數
現職 : 富邦建設資訊副理 證照:經濟部 iPAS AI應用規劃師 初級+中級(數據分析) AWS AIF-C01 AWS CLF-C02 Microsoft AI-900 其他:富邦美術館志工
2025/08/18
Reconstruction loss(重建損失)是深度學習中特別常見於自編碼器(autoencoder)和生成模型中的損失函數,用來衡量模型輸出(重建結果)和輸入原始數據之間的不一致性。 定義 重建損失量化了模型“重建”原始輸入的能力,目標是讓輸入經過編碼器編碼後,再由解碼器還原出來的輸出與原
2025/08/18
Reconstruction loss(重建損失)是深度學習中特別常見於自編碼器(autoencoder)和生成模型中的損失函數,用來衡量模型輸出(重建結果)和輸入原始數據之間的不一致性。 定義 重建損失量化了模型“重建”原始輸入的能力,目標是讓輸入經過編碼器編碼後,再由解碼器還原出來的輸出與原
2025/08/18
KL散度損失(Kullback-Leibler Divergence Loss)是一種在機器學習和深度學習中常用的損失函數,用來衡量兩個概率分布之間的差異或距離。 KL散度的定義: KL散度衡量真實分布 與預測分布 之間的差距,是非對稱性的度量,表示用基於 的模型來描述 所帶來的資訊損失
2025/08/18
KL散度損失(Kullback-Leibler Divergence Loss)是一種在機器學習和深度學習中常用的損失函數,用來衡量兩個概率分布之間的差異或距離。 KL散度的定義: KL散度衡量真實分布 與預測分布 之間的差距,是非對稱性的度量,表示用基於 的模型來描述 所帶來的資訊損失
2025/08/18
Watermarking(數位浮水印技術)是一種在數位內容(如影像、音訊、影片)中嵌入隱藏標識的技術,用於證明內容的版權、真偽以及完整性。這些水印對人眼(或正常感知裝置)通常是不可见的,但能透過專門的算法提取出來。 近年來,隨著深度學習的發展,深度學習水印技術成為主流,主要特點包括: • 利用
2025/08/18
Watermarking(數位浮水印技術)是一種在數位內容(如影像、音訊、影片)中嵌入隱藏標識的技術,用於證明內容的版權、真偽以及完整性。這些水印對人眼(或正常感知裝置)通常是不可见的,但能透過專門的算法提取出來。 近年來,隨著深度學習的發展,深度學習水印技術成為主流,主要特點包括: • 利用
看更多
你可能也想看
Thumbnail
呈上篇介紹如何訓練模型,此篇就主要介紹如何利用訓練好的模型來生成圖片 [深度學習][Python]DCGAN訓練生成手寫阿拉伯數字_生成篇 生成的結果 生成的圖片大小會根據,當初設置的生成器輸出大小來決定,當你使用生成對抗網絡(GAN)生成圖像時,生成器模型的最後一層通常會決定生成圖
Thumbnail
呈上篇介紹如何訓練模型,此篇就主要介紹如何利用訓練好的模型來生成圖片 [深度學習][Python]DCGAN訓練生成手寫阿拉伯數字_生成篇 生成的結果 生成的圖片大小會根據,當初設置的生成器輸出大小來決定,當你使用生成對抗網絡(GAN)生成圖像時,生成器模型的最後一層通常會決定生成圖
Thumbnail
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。 示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
Thumbnail
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。 示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
Thumbnail
若說易卜生的《玩偶之家》為 19 世紀的女性,開啟了一扇離家的窄門,那麼《海妲.蓋柏樂》展現的便是門後的窒息世界。本篇文章由劇場演員 Amily 執筆,同為熟稔文本的演員,亦是深刻體察制度縫隙的當代女性,此文所看見的不僅僅是崩壞前夕的最後發聲,更是女人被迫置於冷酷的制度之下,步步陷入無以言說的困境。
Thumbnail
若說易卜生的《玩偶之家》為 19 世紀的女性,開啟了一扇離家的窄門,那麼《海妲.蓋柏樂》展現的便是門後的窒息世界。本篇文章由劇場演員 Amily 執筆,同為熟稔文本的演員,亦是深刻體察制度縫隙的當代女性,此文所看見的不僅僅是崩壞前夕的最後發聲,更是女人被迫置於冷酷的制度之下,步步陷入無以言說的困境。
Thumbnail
本文主要介紹,如何利用VAE變分自編碼器來訓練生成圖片。 訓練集資料將採用TF影像資料庫中的fashion_mnist VAE變分自編碼器簡單介紹 •VAE(Variational Auto-Encoder)中文名稱變分自編碼器,主要是一種將原始資料編碼到潛在向量空間,再編碼回來的神經網路。
Thumbnail
本文主要介紹,如何利用VAE變分自編碼器來訓練生成圖片。 訓練集資料將採用TF影像資料庫中的fashion_mnist VAE變分自編碼器簡單介紹 •VAE(Variational Auto-Encoder)中文名稱變分自編碼器,主要是一種將原始資料編碼到潛在向量空間,再編碼回來的神經網路。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
全新版本的《三便士歌劇》如何不落入「復刻經典」的巢臼,反而利用華麗的秀場視覺,引導觀眾在晚期資本主義的消費愉悅之中,而能驚覺「批判」本身亦可能被收編——而當絞繩升起,這場關於如何生存的黑色遊戲,又將帶領新時代的我們走向何種後現代的自我解構?
Thumbnail
全新版本的《三便士歌劇》如何不落入「復刻經典」的巢臼,反而利用華麗的秀場視覺,引導觀眾在晚期資本主義的消費愉悅之中,而能驚覺「批判」本身亦可能被收編——而當絞繩升起,這場關於如何生存的黑色遊戲,又將帶領新時代的我們走向何種後現代的自我解構?
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
GNN發展背景 傳統的深度學習模型如在計算機視覺(CV)和自然語言處理(NLP)領域中極為成功,主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構,例如影像是由有序的像素點組成。然而,在真實世界中,許多數據是非結構化的,如化合物結構(原子和分子)。這些數據雖然具有一定的規則性,
Thumbnail
GNN發展背景 傳統的深度學習模型如在計算機視覺(CV)和自然語言處理(NLP)領域中極為成功,主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構,例如影像是由有序的像素點組成。然而,在真實世界中,許多數據是非結構化的,如化合物結構(原子和分子)。這些數據雖然具有一定的規則性,
Thumbnail
長期以來,西方美學以《維特魯威人》式的幾何比例定義「完美身體」,這種視覺標準無形中成為殖民擴張與種族分類的暴力工具。本文透過分析奈及利亞編舞家庫德斯.奧尼奎庫的舞作《轉轉生》,探討當代非洲舞蹈如何跳脫「標本式」的文化觀看。
Thumbnail
長期以來,西方美學以《維特魯威人》式的幾何比例定義「完美身體」,這種視覺標準無形中成為殖民擴張與種族分類的暴力工具。本文透過分析奈及利亞編舞家庫德斯.奧尼奎庫的舞作《轉轉生》,探討當代非洲舞蹈如何跳脫「標本式」的文化觀看。
Thumbnail
特徵工程是機器學習中的核心技術,通過將原始數據轉換為有意義的特徵,以提升模型的準確性和穩定性。常見的特徵工程方法包括異常值檢測、特徵轉換、特徵縮放、特徵表示、特徵選擇和特徵提取。本文將深入探討這些方法的適用情況及具體實施流程,以幫助讀者有效利用特徵工程來優化機器學習模型表現。
Thumbnail
特徵工程是機器學習中的核心技術,通過將原始數據轉換為有意義的特徵,以提升模型的準確性和穩定性。常見的特徵工程方法包括異常值檢測、特徵轉換、特徵縮放、特徵表示、特徵選擇和特徵提取。本文將深入探討這些方法的適用情況及具體實施流程,以幫助讀者有效利用特徵工程來優化機器學習模型表現。
Thumbnail
本文介紹了在進行資料分析時,將類別欄位轉換為數值欄位的方法,包括Label Encoding、One-Hot Encoding、Binary Encoding、Target Encoding和Frequency Encoding。每種方法的應用範例、優缺點和適用場景都有詳細說明。
Thumbnail
本文介紹了在進行資料分析時,將類別欄位轉換為數值欄位的方法,包括Label Encoding、One-Hot Encoding、Binary Encoding、Target Encoding和Frequency Encoding。每種方法的應用範例、優缺點和適用場景都有詳細說明。
Thumbnail
給定一個輸入陣列,計算最長遞增子序列的總數。本題和Longest Common Subsequence相似,需要設定一個計數器,記錄最長遞增子序列的數量。透過DP模型的化簡方式來解決問題。時間複雜度為O(n^2),空間複雜度為O(n)。主要使用回頭看的技巧,找出比較小的元素去延伸遞增子序列的長度。
Thumbnail
給定一個輸入陣列,計算最長遞增子序列的總數。本題和Longest Common Subsequence相似,需要設定一個計數器,記錄最長遞增子序列的數量。透過DP模型的化簡方式來解決問題。時間複雜度為O(n^2),空間複雜度為O(n)。主要使用回頭看的技巧,找出比較小的元素去延伸遞增子序列的長度。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News