123,123,123

內(nèi)容簡(jiǎn)介

　　《智能問(wèn)答與深度學(xué)習(xí)》面向在校學(xué)生或計(jì)算機(jī)軟件從業(yè)人員，由淺入深地介紹了人工智能在文本任務(wù)中的應(yīng)用?！吨悄軉?wèn)答與深度學(xué)習(xí)》不但介紹了自然語(yǔ)言處理、深度學(xué)習(xí)和機(jī)器閱讀理解等基礎(chǔ)知識(shí)，還簡(jiǎn)述了信息論、人工智能等的發(fā)展過(guò)程。

作者簡(jiǎn)介

　　王海良，Chatopera聯(lián)合創(chuàng)始人、CEO，微軟人工智能極有價(jià)值專(zhuān)家。畢業(yè)于北京郵電大學(xué)，加入IBM工作四年，先后工作于軟件開(kāi)發(fā)實(shí)驗(yàn)室和創(chuàng)新中心，從2016年開(kāi)始工作于創(chuàng)業(yè)公司，三角獸AI算法工程師，呤呤英語(yǔ)AI產(chǎn)品負(fù)責(zé)人，負(fù)責(zé)智能對(duì)話(huà)系統(tǒng)研發(fā)。李卓桓，PreAngel合伙人，Plug and Play投資合伙人。擁有25年編程經(jīng)驗(yàn)，曾任優(yōu)酷網(wǎng)首席科學(xué)家、嘰歪網(wǎng)創(chuàng)始人，水木清華BBS站長(zhǎng)，紫霞BBS站長(zhǎng)。Conversational AI實(shí)踐者，熱愛(ài)滑雪、跑酷、滑雪傘等極限運(yùn)動(dòng)。林旭鳴，北京郵電大學(xué)模式識(shí)別實(shí)驗(yàn)室研究生，目前的研究方向?yàn)樯疃葘W(xué)習(xí)、自然語(yǔ)言處理與機(jī)器閱讀理解。本科期間曾獲得國(guó)家獎(jiǎng)學(xué)金，研究生期間多次在數(shù)據(jù)類(lèi)競(jìng)賽中取得Top 3的成績(jī)。曾在百度、滴滴出行、微軟等公司實(shí)習(xí)。

圖書(shū)目錄

1 概述1
1.1 智能問(wèn)答：讓機(jī)器更好地服務(wù)于人 1
1.2 問(wèn)答系統(tǒng)類(lèi)型介紹 2
1.2.1 基于事實(shí)的問(wèn)答系統(tǒng) 3
1.2.2 基于常見(jiàn)問(wèn)題集的問(wèn)答系統(tǒng) 3
1.2.3 開(kāi)放域的問(wèn)答系統(tǒng) 4
1.3 使用本書(shū)附帶的源碼程序 4
1.3.1 安裝依賴(lài)軟件 4
1.3.2 下載源碼 5
1.3.3 執(zhí)行示例程序 5
1.3.4 聯(lián)系我們 6
1.4 全書(shū)結(jié)構(gòu) 6
2 機(jī)器學(xué)習(xí)基礎(chǔ)8
2.1 線(xiàn)性代數(shù) 8
2.1.1 標(biāo)量、向量、矩陣和張量 8
2.1.2 矩陣運(yùn)算 9
2.1.3 特殊類(lèi)型的矩陣 10
2.1.4 線(xiàn)性相關(guān) 11
2.1.5 范數(shù) 12
2.2 概率論基礎(chǔ) 12
2.2.1 隨機(jī)變量 13
2.2.2 期望和方差 13
2.2.3 伯努利分布 14
2.2.4 二項(xiàng)分布 14
2.2.5 泊松分布 15
2.2.6 正態(tài)分布 15
2.2.7 條件概率、聯(lián)合概率和全概率 17
2.2.8 先驗(yàn)概率與后驗(yàn)概率 18
2.2.9 邊緣概率 18
2.2.10 貝葉斯公式 18
2.2.11 最大似然估計(jì)算法 19
2.2.12 線(xiàn)性回歸模型 20
2.2.13 邏輯斯蒂回歸模型 21
2.3 信息論基礎(chǔ) 22
2.3.1 熵 23
2.3.2 聯(lián)合熵和條件熵 23
2.3.3 相對(duì)熵與互信息 24
2.3.4 信道和信道容量 25
2.3.5 最大熵模型 26
2.3.6 信息論與機(jī)器學(xué)習(xí) 29
2.4 統(tǒng)計(jì)學(xué)習(xí) 29
2.4.1 輸入空間、特征空間與輸出空間 30
2.4.2 向量表示 30
2.4.3 數(shù)據(jù)集 31
2.4.4 從概率到函數(shù) 31
2.4.5 統(tǒng)計(jì)學(xué)習(xí)三要素 32
2.5 隱馬爾可夫模型 33
2.5.1 隨機(jī)過(guò)程和馬爾可夫鏈 33
2.5.2 隱馬爾可夫模型的定義 36
2.5.3 三個(gè)基本假設(shè)及適用場(chǎng)景 37
2.5.4 概率計(jì)算問(wèn)題之直接計(jì)算 39
2.5.5 概率計(jì)算問(wèn)題之前向算法 40
2.5.6 概率計(jì)算問(wèn)題之后向算法 42
2.5.7 預(yù)測(cè)問(wèn)題之維特比算法 45
2.5.8 學(xué)習(xí)問(wèn)題之Baum-Welch 算法 48
2.6 條件隨機(jī)場(chǎng)模型 52
2.6.1 超越HMM 52
2.6.2 項(xiàng)目實(shí)踐 55
2.7 總結(jié) 59
3 自然語(yǔ)言處理基礎(chǔ)60
3.1 中文自動(dòng)分詞 60
3.1.1 有向無(wú)環(huán)圖 61
3.1.2 最大匹配算法 63
3.1.3 算法評(píng)測(cè) 69
3.1.4 由字構(gòu)詞的方法 72
3.2 詞性標(biāo)注 77
3.2.1 詞性標(biāo)注規(guī)范 77
3.2.2 隱馬爾可夫模型詞性標(biāo)注 79
3.3 命名實(shí)體識(shí)別 81
3.4 上下文無(wú)關(guān)文法 82
3.4.1 原理介紹 83
3.4.2 算法淺析 83
3.5 依存關(guān)系分析 84
3.5.1 算法淺析 85
3.5.2 項(xiàng)目實(shí)踐 92
3.5.3 小結(jié) 94
3.6 信息檢索系統(tǒng) 95
3.6.1 什么是信息檢索系統(tǒng) 95
3.6.2 衡量信息檢索系統(tǒng)的關(guān)鍵指標(biāo) 95
3.6.3 理解非結(jié)構(gòu)化數(shù)據(jù) 97
3.6.4 倒排索引 98
3.6.5 處理查詢(xún) 100
3.6.6 項(xiàng)目實(shí)踐 102
3.6.7 Elasticsearch 103
3.6.8 小結(jié) 112
3.7 問(wèn)答語(yǔ)料 113
3.7.1 WikiQA 113
3.7.2 中文版保險(xiǎn)行業(yè)語(yǔ)料庫(kù)InsuranceQA 113
3.8 總結(jié) 115
4 深度學(xué)習(xí)初步116
4.1 深度學(xué)習(xí)簡(jiǎn)史 116
4.1.1 感知機(jī) 116
4.1.2 寒冬和復(fù)蘇 117
4.1.3 走出實(shí)驗(yàn)室 118
4.1.4 寒冬再臨 119
4.1.5 走向大規(guī)模實(shí)際應(yīng)用 119
4.2 基本架構(gòu) 120
4.2.1 神經(jīng)元 121
4.2.2 輸入層、隱藏層和輸出層 122
4.2.3 標(biāo)準(zhǔn)符號(hào) 123
4.3 神經(jīng)網(wǎng)絡(luò)是如何學(xué)習(xí)的 124
4.3.1 梯度下降 124
4.3.2 反向傳播理論 127
4.3.3 神經(jīng)網(wǎng)絡(luò)全連接層的實(shí)現(xiàn) 130
4.3.4 使用簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問(wèn)答任務(wù) 131
4.4 調(diào)整神經(jīng)網(wǎng)絡(luò)超參數(shù) 136
4.4.1 超參數(shù) 136
4.4.2 參考建議 137
4.5 卷積神經(jīng)網(wǎng)絡(luò)與池化 138
4.5.1 簡(jiǎn)介 138
4.5.2 卷積層的前向傳播 139
4.5.3 池化層的前向傳播 141
4.5.4 卷積層的實(shí)現(xiàn) 141
4.5.5 池化層的實(shí)現(xiàn) 145
4.5.6 使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問(wèn)答任務(wù) 148
4.6 循環(huán)神經(jīng)網(wǎng)絡(luò)及其變種 149
4.6.1 簡(jiǎn)介 149
4.6.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 149
4.6.3 長(zhǎng)短期記憶單元和門(mén)控循環(huán)單元 153
4.6.4 循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 156
4.6.5 使用循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問(wèn)答任務(wù) 159
4.7 簡(jiǎn)易神經(jīng)網(wǎng)絡(luò)工具包 160
5 詞向量實(shí)現(xiàn)及應(yīng)用161
5.1 語(yǔ)言模型 161
5.1.1 評(píng)測(cè) 162
5.1.2 ARPA 格式介紹 162
5.1.3 項(xiàng)目實(shí)踐 163
5.2 One-hot 表示法 164
5.3 詞袋模型 165
5.4 NNLM 和RNNLM 165
5.5 word2vec 168
5.5.1 C-BOW 的原理 169
5.5.2 Skip-gram 的原理 172
5.5.3 計(jì)算效率優(yōu)化 174
5.5.4 項(xiàng)目實(shí)踐 179
5.6 GloVe 189
5.6.1 GloVe 的原理 189
5.6.2 GloVe 與word2vec 的區(qū)別和聯(lián)系 191
5.6.3 項(xiàng)目實(shí)踐 193
5.7 fastText 198
5.7.1 fastText 的原理 198
5.7.2 fastText 與word2vec 的區(qū)別和聯(lián)系 200
5.7.3 項(xiàng)目實(shí)踐 201
5.8 中文近義詞工具包 204
5.8.1 安裝 205
5.8.2 接口 205
5.9 總結(jié) 205
6 社區(qū)問(wèn)答中的QA 匹配206
6.1 社區(qū)問(wèn)答任務(wù)簡(jiǎn)介 206
6.2 孿生網(wǎng)絡(luò)模型 207
6.3 QACNN 模型 207
6.3.1 模型構(gòu)建 207
6.3.2 實(shí)驗(yàn)結(jié)果 214
6.4 Decomposable Attention 模型 214
6.4.1 模型介紹 214
6.4.2 模型構(gòu)建 216
6.5 多比較方式的比較–集成模型 216
6.5.1 模型介紹 216
6.5.2 模型構(gòu)建 218
6.6 BiMPM 模型 219
6.6.1 模型介紹 219
6.6.2 模型構(gòu)建 221
7 機(jī)器閱讀理解222
7.1 完型填空型機(jī)器閱讀理解任務(wù) 222
7.1.1 CNN/Daily Mail 數(shù)據(jù)集 222
7.1.2 Children’s Book Test（CBT）數(shù)據(jù)集 223
7.1.3 GA Reader 模型 226
7.1.4 SA Reader 模型 227
7.1.5 AoA Reader 模型 228
7.2 答案抽取型機(jī)器閱讀理解任務(wù) 230
7.2.1 SQuAD 數(shù)據(jù)集 231
7.2.2 MS MARCO 數(shù)據(jù)集 232
7.2.3 TriviaQA 數(shù)據(jù)集 234
7.2.4 DuReader 數(shù)據(jù)集 235
7.2.5 BiDAF 模型 235
7.2.6 R-Net 模型 237
7.2.7 S-Net 模型 240
7.3 答案選擇型機(jī)器閱讀理解任務(wù) 243
7.4 展望 245
參考文獻(xiàn)246