網絡解碼器采用的技術特點
點擊次數：1698 更新時間：2019-05-14
網絡解碼器是一個很成功的翻譯模型。這個模型接受一個序列作為輸入，并將序列中的信息編碼為中間表示。然后解碼器解碼中間表示為目標語言。在我們的這個項目中，輸入序列是法語句子，輸出是相應的英語翻譯。
在我們深入網絡解碼器如何工作之前，我們需要了解下模型是如何表示我們的數據的。在對模型的工作機制一無所知的情況下，我們可以合理地推測如果我們給模型一個法語句子，模型能給我們對應的英語句子。也就是說，輸入一個單詞序列，模型應該輸出另一個單詞序列。然而，模型只不過是一組參數，在輸入上進行多種運算。模型并不知道什么是單詞。類似ASCII編碼將字母映射到數字，我們的單詞也需要轉成數值表是。為此，數據集中的每個的單詞需要有一個的索引。模型接受的實際上不是一個單詞序列，而是一個索引序列。
一次傳入一個句子，這沒什么問題。不過，怎樣才能一次傳入多個句子以加速訓練過程呢？句子長短不一。這些數字序列又該如何組織呢？答案是輸入序列將表示為維度等于（batch大小 × 大句子長度）的張量（矩陣）。這樣就可以一次輸入一組句子，短于數據集中長句的句子可以用事先確定的“補齊索引”補齊。
回顧下編碼器輸出張量，序列維度的每一項保存了RNN輸出的向量。注意力模塊就批次中的每個樣本在序列維度上取這些向量的加權和。這樣，每個樣本得到一個向量，表示當前輸出序列步驟計算所需的相關信息。
下面我們將舉一個具體的例子。如果輸入句子的個單詞包含了給定輸出單詞所需的所有重要的信息，那么個單詞分配的權重是一，其他各項權重為零。也就是加權向量等于輸入句子的個單詞對應的向量。
模型需要學習如何分配這些權重，所以我們使用了一個全連接層。序列中的每個單詞對應一個權重，所以權重數量等于長句子長度。權重之和應等于一，所以全連接層將使用softmax激活函數。注意力模塊將接受網絡解碼器先前的隱藏狀態與解碼器前一步輸出的預測單詞的詞嵌入的連接作為輸入，從而決定這些權重的值。
咨詢電話：15683819548,13728672523