數(shù)據(jù)驅(qū)動(dòng)的機(jī)器翻譯技術(shù)

●第1章 緒論1
1.1 研究背景及意義1
1.2 機(jī)器翻譯發(fā)展簡(jiǎn)史2
1.3 研究?jī)?nèi)容及全書(shū)總覽4
參考文獻(xiàn)8
第2章 基礎(chǔ)理論9
2.1 基于規(guī)則的機(jī)器翻譯9
2.2 基于實(shí)例的機(jī)器翻譯10
2.3 統(tǒng)計(jì)機(jī)器翻譯11
2.3.1 噪聲信道模型11
2.3.2 對(duì)數(shù)線(xiàn)性模型12
2.3.3 基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型12
2.3.4 基于句法的統(tǒng)計(jì)機(jī)器翻譯模型14
2.3.5 語(yǔ)言模型16
2.3.6 統(tǒng)計(jì)機(jī)器翻譯存在的問(wèn)題20
2.4 神經(jīng)機(jī)器翻譯20
2.4.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型21
2.4.2 基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型24
2.4.3 基于注意力網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型27
2.4.4 束搜索30
2.4.5 神經(jīng)機(jī)器翻譯存在的問(wèn)題及發(fā)展趨勢(shì)31
參考文獻(xiàn)34
第3章 基于句法語(yǔ)義知識(shí)的統(tǒng)計(jì)機(jī)器翻譯44
3.1 引言44
3.2 基于句法和語(yǔ)義的統(tǒng)計(jì)機(jī)器翻譯基礎(chǔ)方法45
3.2.1 基于句法的統(tǒng)計(jì)機(jī)器翻譯模型46
3.2.2 語(yǔ)義角色標(biāo)注47
3.2.3 語(yǔ)義角色標(biāo)注在統(tǒng)計(jì)機(jī)器翻譯中的應(yīng)用48
3.2.4 串到樹(shù)模型49
3.3 基于淺層語(yǔ)義結(jié)構(gòu)的統(tǒng)計(jì)機(jī)器翻譯52
3.3.1 謂詞-論元增強(qiáng)型句法樹(shù)52
3.3.2 句法補(bǔ)充的謂詞-論元樹(shù)54
3.3.3 翻譯規(guī)則的學(xué)習(xí)55
3.3.4 實(shí)驗(yàn)與分析56
3.4 基于句法語(yǔ)言模型的統(tǒng)計(jì)機(jī)器翻譯62
3.4.1 句法語(yǔ)言建模的基礎(chǔ)方法62
3.4.2 融合淺層句法特征的循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型63
3.5 本章小結(jié)70
參考文獻(xiàn)71
第4章 句法知識(shí)與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)模型82
4.1 引言82
4.2 樹(shù)結(jié)構(gòu)學(xué)習(xí)的基礎(chǔ)方法83
4.2.1 樹(shù)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)編碼器84
4.2.2 樹(shù)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)解碼器85
4.2.3 無(wú)監(jiān)督樹(shù)學(xué)習(xí)85
4.2.4 利用統(tǒng)計(jì)機(jī)器翻譯短語(yǔ)表87
4.2.5 在神經(jīng)機(jī)器翻譯中學(xué)習(xí)短語(yǔ)87
4.2.6 基于句法的神經(jīng)機(jī)器翻譯88
4.2.7 對(duì)齊學(xué)習(xí)89
4.3 源端句法信息與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)模型89
4.3.1 無(wú)監(jiān)督樹(shù)編碼器90
4.3.2 無(wú)監(jiān)督樹(shù)與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)92
4.3.3 實(shí)驗(yàn)分析97
4.3.4 實(shí)例分析101
4.4 雙語(yǔ)句法成分對(duì)齊與神經(jīng)機(jī)器翻譯聯(lián)合學(xué)習(xí)模型105
4.4.1 概述105
4.4.2 無(wú)監(jiān)督樹(shù)編碼器107
4.4.3 對(duì)齊樣本構(gòu)建107
4.4.4 深度度量損失108
4.4.5 實(shí)驗(yàn)分析109
4.5 基于跨語(yǔ)言句法互信息的機(jī)器翻譯114
4.5.1 概述114
4.5.2 雙語(yǔ)句法對(duì)齊117
4.5.3 優(yōu)選化雙語(yǔ)句法相互依存120
4.5.4 實(shí)驗(yàn)分析121
4.6 本章小結(jié)126
參考文獻(xiàn)126
第5章 基于句子對(duì)齊信息的機(jī)器翻譯訓(xùn)練138
5.1 引言138
5.2 問(wèn)題分析141
5.3 基于自注意力機(jī)制的對(duì)齊判別器143
5.3.1 基于門(mén)控自注意力網(wǎng)絡(luò)的句子編碼器144
5.3.2 句子對(duì)齊得分計(jì)算與判別器損失函數(shù)145
5.3.3 判別器訓(xùn)練數(shù)據(jù)構(gòu)建與預(yù)訓(xùn)練146
5.4 基于對(duì)齊信息的神經(jīng)機(jī)器翻譯對(duì)抗訓(xùn)練147
5.4.1 判別損失函數(shù)147
5.4.2 Gumbel-Softmax 采樣148
5.4.3 教師強(qiáng)制步驟149
5.4.4 固定的判別器與對(duì)抗的判別器149
5.5 基于對(duì)齊感知的神經(jīng)機(jī)器翻譯解碼方法150
5.5.1 融合判別器得分的解碼得分151
5.5.2 融合基于對(duì)齊的價(jià)值網(wǎng)絡(luò)解碼151
5.6 本章小結(jié)152
參考文獻(xiàn)157
第6章 融合翻譯記憶的神經(jīng)機(jī)器翻譯方法163
6.1 引言163
6.2 問(wèn)題分析163
6.3 融合翻譯記憶相似度的文本預(yù)處理方法165
6.3.1 模板165
6.3.2 相關(guān)工作166
6.3.3 基于多維相似度的機(jī)器翻譯測(cè)試集預(yù)處理策略167
6.4 融合翻譯記憶的機(jī)器翻譯訓(xùn)練方法170
6.4.1 引言170
6.4.2 相關(guān)工作171
6.4.3 基于多維相似度的機(jī)器翻譯訓(xùn)練方法172
6.4.4 實(shí)驗(yàn)分析174
6.5 融合模板翻譯記憶的神經(jīng)機(jī)器翻譯方法178
6.5.1 概述178
6.5.2 相關(guān)工作179
6.5.3 翻譯模板的定義與構(gòu)建180
6.5.4 融合模板翻譯記憶的神經(jīng)機(jī)器翻譯187
6.5.5 實(shí)驗(yàn)分析191
6.6 本章小結(jié)197
參考文獻(xiàn)198
第7章 詞形預(yù)測(cè)與神經(jīng)機(jī)器翻譯聯(lián)合模型202
7.1 引言202
7.2 問(wèn)題分析204
7.2.1 拉丁字符大小寫(xiě)對(duì)神經(jīng)機(jī)器翻譯的影響204
7.2.2 單詞陰陽(yáng)性對(duì)機(jī)器翻譯的影響206
7.3 大小寫(xiě)敏感的神經(jīng)機(jī)器翻譯207
7.3.1 神經(jīng)機(jī)器翻譯模型207
7.3.2 引入大寫(xiě)標(biāo)注的神經(jīng)機(jī)器翻譯208
7.3.3 神經(jīng)機(jī)器翻譯與大寫(xiě)預(yù)測(cè)聯(lián)合學(xué)習(xí)209
7.4 性別敏感的神經(jīng)機(jī)器翻譯212
7.4.1 性別平衡偽數(shù)據(jù)構(gòu)建方法213
7.4.2 插入性別標(biāo)注214
7.4.3 性別預(yù)測(cè)與機(jī)器翻譯聯(lián)合建模214
7.5 本章小結(jié)215
參考文獻(xiàn)218
第8章 融合零代詞信息的機(jī)器翻譯方法225
8.1 引言225
8.2 零代詞推斷的基礎(chǔ)方法227
8.2.1 基于規(guī)則的方法227
8.2.2 序列標(biāo)注法228
8.2.3 融入語(yǔ)義特征的方法229
8.3 基于特征的零代詞推斷方法232
8.3.1 融入雙語(yǔ)信息的語(yǔ)料重構(gòu)232
8.3.2 零代詞處理方法235
8.4 基于CRF和SVM的零代詞信息構(gòu)建方法236
8.4.1 基于CRF的零代詞位置標(biāo)注236
8.4.2 基于SVM的零代詞分類(lèi)238
8.5 基于深度學(xué)習(xí)的零代詞信息構(gòu)建方法242
8.5.1 基于LSTM的零代詞位置標(biāo)注243
8.5.2 基于LSTM的零代詞分類(lèi)245
8.5.3 基于編碼器-解碼器架構(gòu)的零代詞重構(gòu)模型245
8.6 融合零代詞信息的統(tǒng)計(jì)機(jī)器翻譯247
8.6.1 概述247
8.6.2 語(yǔ)料預(yù)處理方法247
8.6.3 概率特征方法248
8.6.4 譯文重排序方法250
8.6.5 實(shí)驗(yàn)分析251
8.6.6 實(shí)驗(yàn)結(jié)果及分析254
8.7 基于無(wú)監(jiān)督樹(shù)學(xué)習(xí)和零代詞重構(gòu)的神經(jīng)機(jī)器翻譯258
8.7.1 概述258
8.7.2 基于零代詞重構(gòu)的口語(yǔ)機(jī)器翻譯模型259
8.7.3 實(shí)驗(yàn)及分析263
8.8 本章小結(jié)271
參考文獻(xiàn)271
第9章 基于因果推斷的譯文評(píng)分去噪聲方法274
9.1 引言274
9.2 相關(guān)工作和背景知識(shí)278
9.2.1 NMT譯文長(zhǎng)度偏置問(wèn)題278
9.2.2 句子級(jí)譯文質(zhì)量直接估計(jì)任務(wù)281
9.3 基于HSR的譯文評(píng)分降噪方法283
9.3.1 基于HSR的NMT解碼長(zhǎng)度偏置修正283
9.3.2 討論285
9.3.3 譯文質(zhì)量估計(jì)系統(tǒng)輸出降噪方法287
9.4 NMT長(zhǎng)度偏置消除實(shí)驗(yàn)290
9.4.1 回歸模型的選擇292
9.4.2 方法自適應(yīng)性294
9.5 譯文質(zhì)量估計(jì)系統(tǒng)去噪聲實(shí)驗(yàn)296
9.6 本章小結(jié)299
參考文獻(xiàn)299
第10章 機(jī)器翻譯評(píng)價(jià)及相關(guān)評(píng)測(cè)會(huì)議306
10.1 機(jī)器翻譯評(píng)價(jià)指標(biāo)307
10.1.1 準(zhǔn)確率和召回率307
10.1.2 BLEU評(píng)價(jià)指標(biāo)308
10.1.3 詞錯(cuò)誤率WER308
10.1.4 翻譯編輯率TER309
10.1.5 NIST評(píng)價(jià)指標(biāo)309
10.1.6 METEOR評(píng)價(jià)指標(biāo)310
10.2 機(jī)器翻譯大會(huì)WMT310
10.3 全國(guó)機(jī)器翻譯大會(huì)CCMT312
10.4 國(guó)際口語(yǔ)翻譯大會(huì)IWSLT313
10.5 NIST機(jī)器翻譯公開(kāi)評(píng)測(cè)314
10.6 亞洲語(yǔ)言機(jī)器翻譯研討會(huì)WAT315
參考文獻(xiàn)316
第11章 總結(jié)與展望319
11.1 本書(shū)總結(jié)319
11.2 未來(lái)研究方向展望320