|
@@ -104,8 +104,6 @@ type: "blog"
|
|
|
|
|
|
* **擴散模型:**擴散模型也稱為去噪擴散機率模型 (DDPM),是在訓練期間透過兩步驟過程確定潛在空間中的向量的生成模型。這兩個步驟是正向擴散和反向擴散。前向擴散過程緩慢地將隨機雜訊添加到訓練資料中,而反向過程則反轉雜訊以重建資料樣本。可以從完全隨機雜訊開始運行反向去噪過程來產生新資料。
|
|
|
|
|
|
-
|
|
|
-
|
|
|
圖 2:擴散和去雜訊過程。
|
|
|
|
|
|
擴散模型的訓練時間可能比變分自動編碼器(VAE) 模型要長,但由於這個兩步驟過程,可以訓練數百個(如果不是無限數量的話)層,這意味著擴散模型通常提供最高的性能.建構生成式人工智慧模型時的高品質輸出。
|
|
@@ -130,7 +128,6 @@ type: "blog"
|
|
|
|
|
|
有兩種機制使 Transformer 特別適合基於文字的生成人工智慧應用:自我關注和位置編碼。這兩種技術都有助於表示時間,並使演算法能夠專注於長距離內單字之間的相互關係
|
|
|
|
|
|
-
|
|
|
|
|
|
圖 3:圖像來自 Aidan Gomez 的演示文稿,他是 2017 年定義 Transformer 的論文的八位合著者之一([來源](https://arxiv.org/abs/1706.03762))。
|
|
|
|