數(shù)據(jù)驅(qū)動的機(jī)器翻譯技術(shù)

●第1章 緒論1
1.1 研究背景及意義1
1.2 機(jī)器翻譯發(fā)展簡史2
1.3 研究內(nèi)容及全書總覽4
參考文獻(xiàn)8
第2章 基礎(chǔ)理論9
2.1 基于規(guī)則的機(jī)器翻譯9
2.2 基于實例的機(jī)器翻譯10
2.3 統(tǒng)計機(jī)器翻譯11
2.3.1 噪聲信道模型11
2.3.2 對數(shù)線性模型12
2.3.3 基于短語的統(tǒng)計機(jī)器翻譯模型12
2.3.4 基于句法的統(tǒng)計機(jī)器翻譯模型14
2.3.5 語言模型16
2.3.6 統(tǒng)計機(jī)器翻譯存在的問題20
2.4 神經(jīng)機(jī)器翻譯20
2.4.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型21
2.4.2 基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型24
2.4.3 基于注意力網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型27
2.4.4 束搜索30
2.4.5 神經(jīng)機(jī)器翻譯存在的問題及發(fā)展趨勢31
參考文獻(xiàn)34
第3章 基于句法語義知識的統(tǒng)計機(jī)器翻譯44
3.1 引言44
3.2 基于句法和語義的統(tǒng)計機(jī)器翻譯基礎(chǔ)方法45
3.2.1 基于句法的統(tǒng)計機(jī)器翻譯模型46
3.2.2 語義角色標(biāo)注47
3.2.3 語義角色標(biāo)注在統(tǒng)計機(jī)器翻譯中的應(yīng)用48
3.2.4 串到樹模型49
3.3 基于淺層語義結(jié)構(gòu)的統(tǒng)計機(jī)器翻譯52
3.3.1 謂詞-論元增強(qiáng)型句法樹52
3.3.2 句法補充的謂詞-論元樹54
3.3.3 翻譯規(guī)則的學(xué)習(xí)55
3.3.4 實驗與分析56
3.4 基于句法語言模型的統(tǒng)計機(jī)器翻譯62
3.4.1 句法語言建模的基礎(chǔ)方法62
3.4.2 融合淺層句法特征的循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型63
3.5 本章小結(jié)70
參考文獻(xiàn)71
第4章 句法知識與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)模型82
4.1 引言82
4.2 樹結(jié)構(gòu)學(xué)習(xí)的基礎(chǔ)方法83
4.2.1 樹結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)編碼器84
4.2.2 樹結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)解碼器85
4.2.3 無監(jiān)督樹學(xué)習(xí)85
4.2.4 利用統(tǒng)計機(jī)器翻譯短語表87
4.2.5 在神經(jīng)機(jī)器翻譯中學(xué)習(xí)短語87
4.2.6 基于句法的神經(jīng)機(jī)器翻譯88
4.2.7 對齊學(xué)習(xí)89
4.3 源端句法信息與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)模型89
4.3.1 無監(jiān)督樹編碼器90
4.3.2 無監(jiān)督樹與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)92
4.3.3 實驗分析97
4.3.4 實例分析101
4.4 雙語句法成分對齊與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)模型105
4.4.1 概述105
4.4.2 無監(jiān)督樹編碼器107
4.4.3 對齊樣本構(gòu)建107
4.4.4 深度度量損失108
4.4.5 實驗分析109
4.5 基于跨語言句法互信息的機(jī)器翻譯114
4.5.1 概述114
4.5.2 雙語句法對齊117
4.5.3 優(yōu)選化雙語句法相互依存120
4.5.4 實驗分析121
4.6 本章小結(jié)126
參考文獻(xiàn)126
第5章 基于句子對齊信息的機(jī)器翻譯訓(xùn)練138
5.1 引言138
5.2 問題分析141
5.3 基于自注意力機(jī)制的對齊判別器143
5.3.1 基于門控自注意力網(wǎng)絡(luò)的句子編碼器144
5.3.2 句子對齊得分計算與判別器損失函數(shù)145
5.3.3 判別器訓(xùn)練數(shù)據(jù)構(gòu)建與預(yù)訓(xùn)練146
5.4 基于對齊信息的神經(jīng)機(jī)器翻譯對抗訓(xùn)練147
5.4.1 判別損失函數(shù)147
5.4.2 Gumbel-Softmax 采樣148
5.4.3 教師強(qiáng)制步驟149
5.4.4 固定的判別器與對抗的判別器149
5.5 基于對齊感知的神經(jīng)機(jī)器翻譯解碼方法150
5.5.1 融合判別器得分的解碼得分151
5.5.2 融合基于對齊的價值網(wǎng)絡(luò)解碼151
5.6 本章小結(jié)152
參考文獻(xiàn)157
第6章 融合翻譯記憶的神經(jīng)機(jī)器翻譯方法163
6.1 引言163
6.2 問題分析163
6.3 融合翻譯記憶相似度的文本預(yù)處理方法165
6.3.1 模板165
6.3.2 相關(guān)工作166
6.3.3 基于多維相似度的機(jī)器翻譯測試集預(yù)處理策略167
6.4 融合翻譯記憶的機(jī)器翻譯訓(xùn)練方法170
6.4.1 引言170
6.4.2 相關(guān)工作171
6.4.3 基于多維相似度的機(jī)器翻譯訓(xùn)練方法172
6.4.4 實驗分析174
6.5 融合模板翻譯記憶的神經(jīng)機(jī)器翻譯方法178
6.5.1 概述178
6.5.2 相關(guān)工作179
6.5.3 翻譯模板的定義與構(gòu)建180
6.5.4 融合模板翻譯記憶的神經(jīng)機(jī)器翻譯187
6.5.5 實驗分析191
6.6 本章小結(jié)197
參考文獻(xiàn)198
第7章 詞形預(yù)測與神經(jīng)機(jī)器翻譯聯(lián)合模型202
7.1 引言202
7.2 問題分析204
7.2.1 拉丁字符大小寫對神經(jīng)機(jī)器翻譯的影響204
7.2.2 單詞陰陽性對機(jī)器翻譯的影響206
7.3 大小寫敏感的神經(jīng)機(jī)器翻譯207
7.3.1 神經(jīng)機(jī)器翻譯模型207
7.3.2 引入大寫標(biāo)注的神經(jīng)機(jī)器翻譯208
7.3.3 神經(jīng)機(jī)器翻譯與大寫預(yù)測聯(lián)合學(xué)習(xí)209
7.4 性別敏感的神經(jīng)機(jī)器翻譯212
7.4.1 性別平衡偽數(shù)據(jù)構(gòu)建方法213
7.4.2 插入性別標(biāo)注214
7.4.3 性別預(yù)測與機(jī)器翻譯聯(lián)合建模214
7.5 本章小結(jié)215
參考文獻(xiàn)218
第8章 融合零代詞信息的機(jī)器翻譯方法225
8.1 引言225
8.2 零代詞推斷的基礎(chǔ)方法227
8.2.1 基于規(guī)則的方法227
8.2.2 序列標(biāo)注法228
8.2.3 融入語義特征的方法229
8.3 基于特征的零代詞推斷方法232
8.3.1 融入雙語信息的語料重構(gòu)232
8.3.2 零代詞處理方法235
8.4 基于CRF和SVM的零代詞信息構(gòu)建方法236
8.4.1 基于CRF的零代詞位置標(biāo)注236
8.4.2 基于SVM的零代詞分類238
8.5 基于深度學(xué)習(xí)的零代詞信息構(gòu)建方法242
8.5.1 基于LSTM的零代詞位置標(biāo)注243
8.5.2 基于LSTM的零代詞分類245
8.5.3 基于編碼器-解碼器架構(gòu)的零代詞重構(gòu)模型245
8.6 融合零代詞信息的統(tǒng)計機(jī)器翻譯247
8.6.1 概述247
8.6.2 語料預(yù)處理方法247
8.6.3 概率特征方法248
8.6.4 譯文重排序方法250
8.6.5 實驗分析251
8.6.6 實驗結(jié)果及分析254
8.7 基于無監(jiān)督樹學(xué)習(xí)和零代詞重構(gòu)的神經(jīng)機(jī)器翻譯258
8.7.1 概述258
8.7.2 基于零代詞重構(gòu)的口語機(jī)器翻譯模型259
8.7.3 實驗及分析263
8.8 本章小結(jié)271
參考文獻(xiàn)271
第9章 基于因果推斷的譯文評分去噪聲方法274
9.1 引言274
9.2 相關(guān)工作和背景知識278
9.2.1 NMT譯文長度偏置問題278
9.2.2 句子級譯文質(zhì)量直接估計任務(wù)281
9.3 基于HSR的譯文評分降噪方法283
9.3.1 基于HSR的NMT解碼長度偏置修正283
9.3.2 討論285
9.3.3 譯文質(zhì)量估計系統(tǒng)輸出降噪方法287
9.4 NMT長度偏置消除實驗290
9.4.1 回歸模型的選擇292
9.4.2 方法自適應(yīng)性294
9.5 譯文質(zhì)量估計系統(tǒng)去噪聲實驗296
9.6 本章小結(jié)299
參考文獻(xiàn)299
第10章 機(jī)器翻譯評價及相關(guān)評測會議306
10.1 機(jī)器翻譯評價指標(biāo)307
10.1.1 準(zhǔn)確率和召回率307
10.1.2 BLEU評價指標(biāo)308
10.1.3 詞錯誤率WER308
10.1.4 翻譯編輯率TER309
10.1.5 NIST評價指標(biāo)309
10.1.6 METEOR評價指標(biāo)310
10.2 機(jī)器翻譯大會WMT310
10.3 全國機(jī)器翻譯大會CCMT312
10.4 國際口語翻譯大會IWSLT313
10.5 NIST機(jī)器翻譯公開評測314
10.6 亞洲語言機(jī)器翻譯研討會WAT315
參考文獻(xiàn)316
第11章 總結(jié)與展望319
11.1 本書總結(jié)319
11.2 未來研究方向展望320