擴散模型受非均衡熱力學啟發。非均衡熱力學定義了一個擴散步驟的馬可夫鏈，逐步向資料添加隨機資訊，然後學習如何逆轉擴散過程，從隨機資訊中建構所需的樣本資料。與變分自編碼器（VAE）或以流為基礎的模型不同，擴散模型是通過固定程序學習的，且其潛在變量具有高維度（與原始資料相同）。
幾種基於擴散模型的生成式模型已被提出，它們的基本理念相似，包括擴散機率模型（Sohl-Dickstein等人，2015年）、條件干擾分數網路（NCSN；Yang和Ermon，2019年），以及去噪擴散概率模型（DDPM；Ho等人，2020年）。四種生成模型的示意圖比較，從上到下分別是：生成對抗網路（GAN）、變分自編碼器（VAE）、流模型和擴散模型。
不同類型的生成模型
給定一個從真實數據分佈中取樣的數據點 x_0，讓我們定義一個前向擴散過程，在這個過程中，我們在 T 個步驟中向樣本添加少量高斯噪訊，產生一系列噪訊樣本 x_1,…,x_T。步長由方差時間表 β_1,…,β_Tβ1,…,βT 控制。
q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)
隨著步驟 t 變大，數據樣本 x_0 逐漸失去其可辨識的特徵。最終當 t→T 時，x_T 等同於一個各向同性的高斯分佈。
