基于深度學習的機器閱讀理解

目錄
前言
第1章 概論 1
1.1 任務簡述 1
1.2 發(fā)展歷程 3
1.2.1 早期 3
1.2.2 近期 4
1.2.3當代 5
1.3 任務定義及分類 6
1.3.1 形式化定義 6
1.3.2 任務分類 6
1.3.3 相關(guān)任務辨析 11
1.4 模型評測 12
1.4.1 評價指標 12
1.4.2 代表性數(shù)據(jù)集 16
1.5 典型應用 25
1.5.1 搜索引擎增強 25
1.5.2 智能助理 27
1.6 本章小結(jié) 27
第2章 深度學習基礎(chǔ) 28
2.1 多層感知機 28
2.1.1 感知機 28
2.1.2 多層感知機 34
2.1.3 分析總結(jié) 39
2.2 表示學習初探 44
2.2.1 文本的稀疏表示 44
2.2.2 文本的分布式表示 45
2.2.3 分析總結(jié) 50
2.3 卷積神經(jīng)網(wǎng)絡(luò) 51
2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)及其改進 53
2.5 注意力機制 57
2.6 再論表示學習 59
2.6.1 CoVe 59
2.6.2 ELMo 60
2.6.3 GPT 62
2.6.4 BERT 64
2.7 本章小結(jié) 66
第3章 基本框架 67
3.1 基本框架 67
3.2 嵌入編碼 69
3.2.1 傳統(tǒng)編碼方法 70
3.2.2 預訓練的基于上下文的編碼方法 70
3.2.3 多粒度編碼 72
3.3 特征提取 73
3.3.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的特征提取 73
3.3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取 75
3.3.3 基于多頭自注意力的特征提取 76
3.4 文章-問題交互 76
3.4.1 單向注意力 76
3.4.2 雙向注意力 77
3.4.3 一次交互 79
3.4.4 多次交互 79
3.5 答案預測 81
3.5.1 答案在文章 中 81
3.5.2 答案不在文章 中 83
3.6 其他方法 84
3.6.1 強化學習 84
3.6.2 答案排序 85
3.6.3 句子選擇 85
3.7 本章小結(jié) 85
第4章 代表性模型 86
4.1 Match-LSTM：基于指針網(wǎng)絡(luò)的邊界模型 86
4.2 R-NET：自注意力門控機制 88
4.3 Bi-DAF：雙向注意力流 90
4.4 QANet：基于Transformer結(jié)構(gòu)的閱讀理解模型 92
4.5 R.M-Reader 94
4.6 S-Net 97
4.7 基于雙向自注意力的預訓練語言模型 100
4.8 代表性方法比較分析 100
4.9 本章小結(jié) 101
第5章 新興趨勢 103
5.1 引入知識的機器閱讀理解 103
5.1.1 任務定義 103
5.1.2 代表數(shù)據(jù)集 103
5.1.3 存在的挑戰(zhàn) 104
5.1.4 現(xiàn)有方法 104
5.2 帶有不能回答問題的機器閱讀理解 105
5.2.1 任務定義 105
5.2.2 代表數(shù)據(jù)集 106
5.2.3 存在的挑戰(zhàn) 106
5.2.4 現(xiàn)有方法 106
5.3 多文檔機器閱讀理解 107
5.3.1 任務定義 107
5.3.2 代表數(shù)據(jù)集 108
5.3.3 存在的挑戰(zhàn) 108
5.3.4 現(xiàn)有方法 109
5.4 對話式機器閱讀理解 111
5.4.1 任務定義 111
5.4.2 代表數(shù)據(jù)集 111
5.4.3 存在的挑戰(zhàn) 112
5.4.4 現(xiàn)有方法 113
5.5 跨語言機器閱讀理解 114
5.5.1 任務定義 114
5.5.2 代表數(shù)據(jù)集 114
5.5.3 存在的挑戰(zhàn) 115
5.5.4 現(xiàn)有方法 116
5.6 推理機器閱讀理解 116
5.6.1 任務定義 116
5.6.2 代表數(shù)據(jù)集 117
5.6.3 存在的挑戰(zhàn) 118
5.6.4 現(xiàn)有方法 119
5.7 本章小結(jié) 119
第6章 開放性問題 120
6.1 開放性問題 120
6.1.1 相關(guān)文章的快速檢索獲取 120
6.1.2 機器閱讀理解系統(tǒng)的魯棒性 121
6.1.3 缺乏對外部知識的運用 121
6.1.4 缺乏推理的能力 122
6.1.5 缺乏可解釋性 122
6.2 全書總結(jié) 122
附錄一 機器學習基礎(chǔ)概念 124
附錄二 文本分析基礎(chǔ) 132
附錄三 傳統(tǒng)機器閱讀理解概述 139
附錄四 簡稱一覽表 147
附錄五 可用代碼資源 149
參考文獻 150