自然語(yǔ)言處理導(dǎo)論

前言
第1章緒論
1.1基本概念
1.1.1語(yǔ)言學(xué)與語(yǔ)音學(xué)
1.1.2自然語(yǔ)言
1.1.3自然語(yǔ)言處理
1.2自然語(yǔ)言處理的發(fā)展歷程
1.2.1自然語(yǔ)言處理的發(fā)展歷史
1.2.2自然語(yǔ)言處理的研究現(xiàn)狀
1.2.3自然語(yǔ)言處理的發(fā)展前景
1.3自然語(yǔ)言處理的基本方法
1.3.1理性主義方法
1.3.2經(jīng)驗(yàn)主義方法
1.3.3對(duì)比分析
1.4自然語(yǔ)言處理的研究?jī)?nèi)容
1.4.1文本分類(lèi)
1.4.2信息抽取
1.4.3文本摘要
1.4.4智能問(wèn)答
第2章語(yǔ)言模型
2.1語(yǔ)言模型概述
2.2n-gram統(tǒng)計(jì)語(yǔ)言模型
2.2.1何為n-gram模型
2.2.2n-gram語(yǔ)言模型評(píng)估詞序列
2.2.3n-gram統(tǒng)計(jì)語(yǔ)言模型的應(yīng)用
2.2.4n-gram模型中n對(duì)性能的影響
2.2.5n-gram模型小結(jié)
思考題
參考文獻(xiàn)
第3章神經(jīng)網(wǎng)絡(luò)和神經(jīng)語(yǔ)言模型
3.1人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)語(yǔ)言模型
3.1.1人工神經(jīng)網(wǎng)絡(luò)
3.1.2神經(jīng)語(yǔ)言模型
3.2卷積神經(jīng)網(wǎng)絡(luò)
3.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
3.2.2卷積神經(jīng)網(wǎng)絡(luò)的文本處理
3.3循環(huán)神經(jīng)網(wǎng)絡(luò)
3.4遞歸神經(jīng)網(wǎng)絡(luò)
3.4.1遞歸神經(jīng)網(wǎng)絡(luò)的前向計(jì)算
3.4.2遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
思考題
參考文獻(xiàn)
第4章詞和語(yǔ)義向量
4.1離散分布表示
4.1.1獨(dú)熱表示法
4.1.2詞袋表示法
4.2分布式表示
4.2.1Word2vec
4.2.2矩陣分解
4.2.3GloVe
4.3文本特征選擇法
4.3.1基于文檔頻率的特征提取法
4.3.2 χ2統(tǒng)計(jì)量
4.3.3信息增益法
4.3.4互信息法
4.4特征權(quán)重計(jì)算方法
4.4.1布爾權(quán)重
4.4.2 詞頻
4.4.3TF-IDF
思考題
參考文獻(xiàn)
第5章預(yù)訓(xùn)練語(yǔ)言模型
5.1Transformer
5.2ELMo
5.3GPT
5.4BERT
5.5后BERT時(shí)代
思考題
參考文獻(xiàn)
第6章序列標(biāo)注
6.1馬爾可夫模型
6.2條件隨機(jī)場(chǎng)、維特比算法
6.2.1條件隨機(jī)場(chǎng)的原理解析
6.2.2條件隨機(jī)場(chǎng)的特性
6.3序列標(biāo)注任務(wù)
6.3.1自動(dòng)分詞
6.3.2漢語(yǔ)自動(dòng)分詞中的基本問(wèn)題
6.3.3歧義切分問(wèn)題
6.3.4未登錄詞問(wèn)題
6.4漢語(yǔ)分詞方法
6.4.1基于詞頻度統(tǒng)計(jì)的分詞方法
6.4.2N- 短路徑方法
6.4.3基于詞的n元語(yǔ)法模型的分詞方法
6.4.4由字構(gòu)詞的漢語(yǔ)分詞方法
6.4.5基于詞感知機(jī)的漢語(yǔ)分詞方法
6.4.6基于字的生成式模型和區(qū)分式模型相結(jié)合的漢語(yǔ)分詞方法
6.4.7其他分詞方法
6.5詞性標(biāo)注
6.5.1詞性標(biāo)注概述
6.5.2基于規(guī)則的詞性標(biāo)注方法
6.5.3基于統(tǒng)計(jì)模型的詞性標(biāo)注方法
6.5.4統(tǒng)計(jì)方法與規(guī)則方法相結(jié)合的詞性標(biāo)注方法
6.5.5詞性標(biāo)注的一致性檢查
6.5.6技術(shù)評(píng)測(cè)
6.6命名實(shí)體識(shí)別
6.6.1基于條件隨機(jī)場(chǎng)的命名實(shí)體識(shí)別方法
6.6.2基于多特征的命名實(shí)體識(shí)別方法
6.6.3基于神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別方法
思考題
參考文獻(xiàn)
第7章語(yǔ)義分析
7.1詞義消歧
7.1.1有監(jiān)督的詞義消歧方法
7.1.2基于詞典的詞義消歧方法
7.1.3無(wú)監(jiān)督的詞義消歧方法
7.1.4詞義消歧系統(tǒng)評(píng)價(jià)
7.2語(yǔ)義角色標(biāo)注
7.2.1語(yǔ)義角色標(biāo)注基本方法
7.2.2語(yǔ)義角色標(biāo)注的領(lǐng)域適應(yīng)性問(wèn)題
7.3雙語(yǔ)聯(lián)合語(yǔ)義角色標(biāo)注方法
7.3.1基本思路
7.3.2雙語(yǔ)聯(lián)合語(yǔ)義角色標(biāo)注方法系統(tǒng)實(shí)現(xiàn)
思考題
參考文獻(xiàn)
第8章文本分類(lèi)
8.1文本分類(lèi)概述
8.2傳統(tǒng)分類(lèi)器設(shè)計(jì)
8.2.1樸素貝葉斯分類(lèi)器
8.2.2基于支持向量機(jī)的分類(lèi)器
8.2.3KNN法
8.2.4線性 小二乘擬合法
8.2.5決策樹(shù)分類(lèi)器
8.3基于神經(jīng)網(wǎng)絡(luò)方法
8.3.1文本分析中的循環(huán)神經(jīng)網(wǎng)絡(luò)方法
8.3.2文本分析中的遞歸神經(jīng)網(wǎng)絡(luò)方法
8.4文本分類(lèi)性能評(píng)測(cè)
思考題
參考文獻(xiàn)
第9章情感計(jì)算
9.1文檔或句子級(jí)情感計(jì)算方法
9.1.1情感詞典方法
9.1.2基于傳統(tǒng)機(jī)器學(xué)習(xí)的監(jiān)督情感分類(lèi)
9.1.3深度神經(jīng)網(wǎng)絡(luò)方法
9.2屬性級(jí)情感分析
9.2.1意見(jiàn)挖掘和屬性抽取
9.2.2針對(duì)特定目標(biāo)的情感分析
9.2.3立場(chǎng)檢測(cè)
9.3其他情感分析任務(wù)
9.3.1諷刺識(shí)別
9.3.2多模態(tài)情感分析
思考題
參考文獻(xiàn)
0章知識(shí)抽取
10.1知識(shí)抽取概述
10.2命名實(shí)體識(shí)別
10.2.1命名實(shí)體識(shí)別概述
10.2.2基于詞典及規(guī)則的方法
10.2.3基于機(jī)器學(xué)習(xí)的有監(jiān)督方法
10.2.4基于深度學(xué)習(xí)的方法
10.3實(shí)體鏈接
10.3.1實(shí)體鏈接概述
10.3.2通用解決框架
10.3.3實(shí)體鏈接數(shù)據(jù)集
10.4關(guān)系抽取
10.4.1關(guān)系抽取概述
10.4.2有監(jiān)督關(guān)系抽取
10.4.3遠(yuǎn)程監(jiān)督
10.4.4實(shí)體關(guān)系聯(lián)合抽取
10.4.5小樣本關(guān)系抽取
10.4.6開(kāi)放域關(guān)系抽取
10.5事件抽取
10.5.1事件抽取概述
10.5.2基于模式匹配的方法
10.5.3基于機(jī)器學(xué)習(xí)的方法
10.5.4基于深度學(xué)習(xí)的方法
10.5.5事件抽取數(shù)據(jù)集
思考題
參考文獻(xiàn)
1章統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)機(jī)器翻譯
11.1機(jī)器翻譯概述
11.1.1機(jī)器翻譯的發(fā)展
11.1.2機(jī)器翻譯方法
11.1.3機(jī)器翻譯研究現(xiàn)狀
11.2基于HMM的詞對(duì)位模型
11.3基于短語(yǔ)的翻譯模型
11.4基于 熵的翻譯模型
11.4.1對(duì)位模板與 近似
11.4.2特征函數(shù)
11.4.3參數(shù)訓(xùn)練
11.5基于層次短語(yǔ)的翻譯模型
11.5.1概述
11.5.2模型描述和參數(shù)訓(xùn)練
11.5.3解碼方法
11.6樹(shù)翻譯模型
11.6.1樹(shù)到串的翻譯模型
11.6.2樹(shù)到樹(shù)的翻譯模型
11.6.3串到樹(shù)的翻譯模型
11.7樹(shù)模型的相關(guān)改進(jìn)
11.8基于謂詞論元結(jié)構(gòu)轉(zhuǎn)換的翻譯模型
11.9集外詞翻譯
11.9.1數(shù)字和時(shí)間表示的識(shí)別與翻譯
11.9.2普通集外詞的翻譯
11.10統(tǒng)計(jì)翻譯系統(tǒng)實(shí)現(xiàn)
11.11譯文質(zhì)量評(píng)估方法
11.11.1概述
11.11.2技術(shù)指標(biāo)
11.11.3相關(guān)評(píng)測(cè)
思考題
參考文獻(xiàn)
2章問(wèn)答系統(tǒng)與多輪對(duì)話
12.1引言
12.1.1什么是問(wèn)答系統(tǒng)
12.1.2從問(wèn)答到對(duì)話的擴(kuò)展
12.2 代：基于模板規(guī)則的問(wèn)答系統(tǒng)
12.3第二代：基于信息檢索的問(wèn)答系統(tǒng)
12.3.1問(wèn)題理解
12.3.2答案檢索
12.4第三代：基于數(shù)據(jù)庫(kù)的問(wèn)答系統(tǒng)
12.4.1問(wèn)題理解
12.4.2數(shù)據(jù)庫(kù)的涌現(xiàn)
12.4.3FAQ問(wèn)答系統(tǒng)
12.4.4特定領(lǐng)域問(wèn)答系統(tǒng)（任務(wù)型）
12.4.5閱讀理解型問(wèn)答系統(tǒng)
12.5第四代：基于知識(shí)庫(kù)的問(wèn)答系統(tǒng)
12.5.1知識(shí)庫(kù)
12.5.2語(yǔ)義分析范式
12.5.3信息提取范式
12.5.4對(duì)比信息提取范式與語(yǔ)義分析范式
12.5.5數(shù)據(jù)集
12.6多模態(tài)問(wèn)答系統(tǒng)
12.6.1多模態(tài)任務(wù)概述
12.6.2視覺(jué)問(wèn)答系統(tǒng)
12.6.3視頻問(wèn)答系統(tǒng)
12.7多輪對(duì)話系統(tǒng)與大語(yǔ)言模型
12.7.1多輪對(duì)話系統(tǒng)組成
12.7.2對(duì)話理解
12.7.3對(duì)話管理
12.7.4基于大語(yǔ)言模型的對(duì)話系統(tǒng)
12.8前景與挑戰(zhàn)
思考題
參考文獻(xiàn)
3章基于深度學(xué)習(xí)的社會(huì)計(jì)算
13.1基于深度學(xué)習(xí)的社會(huì)聯(lián)系模型
13.1.1基于淺層嵌入的模型
13.1.2基于深度神經(jīng)網(wǎng)絡(luò)的模型
13.2基于深度學(xué)習(xí)的 系統(tǒng)
13.2.1社交媒體中的 系統(tǒng)
13.2.2基于淺層嵌入的 模型
13.2.3基于深度神經(jīng)網(wǎng)絡(luò)的 模型
思考題
參考文獻(xiàn)
4章自動(dòng)文摘與信息抽取
14.1自動(dòng)文摘技術(shù)概要
14.2抽取式自動(dòng)文摘
14.2.1句子重要性評(píng)估
14.2.2基于約束的摘要生成方法
14.3壓縮式自動(dòng)文摘
14.3.1句子壓縮方法
14.3.2基于句子壓縮的自動(dòng)文摘
14.4生成式自動(dòng)文摘
14.5基于查詢(xún)的自動(dòng)文摘
14.5.1基于語(yǔ)言模型的相關(guān)性計(jì)算方法
14.5.2基于關(guān)鍵詞重合度的相關(guān)性計(jì)算方法
14.5.3基于圖模型的相關(guān)性計(jì)算方法
14.6跨語(yǔ)言和多語(yǔ)言自動(dòng)文摘
14.6.1跨語(yǔ)言自動(dòng)文摘
14.6.2多語(yǔ)言自動(dòng)文摘
14.7摘要質(zhì)量評(píng)估方法和相關(guān)評(píng)測(cè)
14.7.1摘要質(zhì)量評(píng)估方法
14.7.2相關(guān)評(píng)測(cè)活動(dòng)
思考題
參考文獻(xiàn)
5章內(nèi)容生成和跨模態(tài)計(jì)算
15.1自然語(yǔ)言生成和圖像描述
15.1.1自然語(yǔ)言生成
15.1.2圖像中的自然語(yǔ)言描述示例
15.1.3圖像描述技術(shù)
15.2圖像描述的深度學(xué)習(xí)框架
15.2.1端到端框架
15.2.2組合框架
15.2.3其他框架
15.3評(píng)估指標(biāo)和基準(zhǔn)
思考題
參考文獻(xiàn)
6章深度學(xué) 下自然語(yǔ)言處理的前沿研究
16.1組合型泛化
16.2自然語(yǔ)言處理中的無(wú)監(jiān)督學(xué)習(xí)
16.3自然語(yǔ)言處理中的強(qiáng)化學(xué)習(xí)
16.4自然語(yǔ)言處理中的元學(xué)習(xí)
16.5弱可解釋性與強(qiáng)可解釋性
思考題
參考文獻(xiàn)