基于深度學(xué)習(xí)的自然語言處理

譯者序
前言
第1章　自然語言處理 1
1.1　本章概覽 1
1.2　自然語言處理的基礎(chǔ)知識 1
1.3　自然語言處理的能力 3
1.4　自然語言處理中的應(yīng)用 4
1.4.1　文本預(yù)處理 5
1.4.2　文本預(yù)處理技術(shù) 6
1.5　詞嵌入 13
1.6　本章小結(jié) 22
第2章　自然語言處理的應(yīng)用 23
2.1　本章概覽 23
2.2　詞性標(biāo)注 24
2.2.1　詞性 24
2.2.2　詞性標(biāo)注器 25
2.3　詞性標(biāo)注的應(yīng)用 27
2.4　分塊 33
2.5　加縫 35
2.6　命名實(shí)體識別 37
2.6.1　命名實(shí)體 37
2.6.2　命名實(shí)體識別器 38
2.6.3　命名實(shí)體識別的應(yīng)用 38
2.6.4　命名實(shí)體識別器類型 39
2.7　本章小結(jié) 43
第3章　神經(jīng)網(wǎng)絡(luò) 44
3.1　本章概覽 44
3.1.1　深度學(xué)習(xí)簡介 44
3.1.2　機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的比較 45
3.2　神經(jīng)網(wǎng)絡(luò) 46
3.3　訓(xùn)練神經(jīng)網(wǎng)絡(luò) 50
3.3.1　計算權(quán)重 51
3.3.2　損失函數(shù) 52
3.3.3　梯度下降算法 53
3.3.4　反向傳播 56
3.4　神經(jīng)網(wǎng)絡(luò)的設(shè)計及其應(yīng)用 57
3.4.1　有監(jiān)督神經(jīng)網(wǎng)絡(luò) 57
3.4.2　無監(jiān)督神經(jīng)網(wǎng)絡(luò) 57
3.5　部署模型即服務(wù)的基礎(chǔ) 60
3.6　本章小結(jié) 62
第4章　卷積神經(jīng)網(wǎng)絡(luò) 63
4.1　本章概覽 63
4.2　理解CNN的架構(gòu) 65
4.2.1　特征提取 66
4.2.2　隨機(jī)失活 68
4.2.3　卷積神經(jīng)網(wǎng)絡(luò)的分類 69
4.3　訓(xùn)練CNN 71
4.4　CNN的應(yīng)用領(lǐng)域 77
4.5　本章小結(jié) 80
第5章　循環(huán)神經(jīng)網(wǎng)絡(luò) 81
5.1　本章概覽 81
5.2　神經(jīng)網(wǎng)絡(luò)的早期版本 82
5.3　RNN 84
5.3.1　RNN架構(gòu) 87
5.3.2　BPTT 88
5.4　更新和梯度流 90
5.4.1　調(diào)整權(quán)重矩陣Wy 90
5.4.2　調(diào)整權(quán)重矩陣Ws 90
5.4.3　關(guān)于更新Wx 92
5.5　梯度 94
5.5.1　梯度爆炸 94
5.5.2　梯度消失 94
5.5.3　Keras實(shí)現(xiàn)RNN 95
5.5.4　有狀態(tài)與無狀態(tài) 99
5.6　本章小結(jié) 102
第6章　門控循環(huán)單元 103
6.1　本章概覽 103
6.2　簡單RNN的缺點(diǎn) 104
6.3　門控循環(huán)單元 106
6.3.1　門的類型 108
6.3.2　更新門 108
6.3.3　重置門 110
6.3.4　候選激活函數(shù) 111
6.3.5　GRU變體 113
6.4　基于GRU的情感分析 114
6.5　本章小結(jié) 123
第7章　長短期記憶網(wǎng)絡(luò) 124
7.1　本章概覽 124
7.1.1　LSTM 124
7.1.2　遺忘門 126
7.2　輸入門和候選單元狀態(tài) 128
7.3　輸出門和當(dāng)前激活 132
7.4　神經(jīng)語言翻譯 139
7.5　本章小結(jié) 150
第8章　自然語言處理前沿 151
8.1　本章概覽 151
8.1.1　注意力機(jī)制 152
8.1.2　注意力機(jī)制模型 153
8.1.3　使用注意力機(jī)制的數(shù)據(jù)標(biāo)準(zhǔn)化 154
8.1.4　編碼器 155
8.1.5　解碼器 155
8.1.6　注意力機(jī)制 155
8.1.7　α的計算 156
8.2　其他架構(gòu)和發(fā)展?fàn)顩r 167
8.2.1　transformer 168
8.2.2　BERT 168
8.2.3　Open AI GPT-2 168
8.3　本章小結(jié) 169
第9章　組織中的實(shí)際NLP項(xiàng)目工作流 170
9.1　本章概覽 170
9.1.1　機(jī)器學(xué)習(xí)產(chǎn)品開發(fā)的一般工作流 170
9.1.2　演示工作流 171
9.1.3　研究工作流 171
9.1.4　面向生產(chǎn)的工作流 172
9.2　問題定義 173
9.3　數(shù)據(jù)采集 173
9.4　谷歌Colab 174
9.5　Flask 180
9.6　部署 182
9.6.1　對Flask網(wǎng)絡(luò)應(yīng)用程序進(jìn)行更改 183
9.6.2　使用Docker將Flask網(wǎng)絡(luò)應(yīng)用程序包裝到容器中 183
9.6.3　將容器托管在亞馬遜網(wǎng)絡(luò)服務(wù)EC2實(shí)例上 185
9.6.4　改進(jìn) 190
9.7　本章小結(jié) 190
附錄 191