基于NLP的內容理解

CONTENTS
目　　錄
前言
第1章　文本特征表示　1
1.1　語料與語料預處理　1
1.1.1　語料和語料庫　1
1.1.2　語料預處理　2
1.2　文本特征表示方法　6
1.2.1　離散型特征表示方法　6
1.2.2　分布型特征表示方法　13
1.3　詞向量的評判標準　29
1.3.1　內部評估　29
1.3.2　外在評估　31
1.4　本章小結　34
第2章　內容重復理解　35
2.1　標題重復　35
2.1.1　標題符號規(guī)整化處理　36
2.1.2　Jieba分詞　39
2.1.3　LAC分詞　43
2.1.4　基于分詞及字符串等
方式進行重復識別　45
2.2　段落重復識別實例　47
2.2.1　段落重復識別　47
2.2.2　基于N-gram算法進行
內容去重　48
2.2.3　平滑處理技術　54
2.3　基于相似度計算的文章判重　57
2.3.1　文本相似度計算任務
的分析　57
2.3.2　距離度量方式　58
2.3.3　基于SimHash算法進行
文本重復檢測　62
2.4　本章小結　66
第3章　內容通順度識別及糾正　67
3.1　數(shù)據(jù)增強　67
3.2　基于FastText算法的句子
通順度識別　73
3.2.1　CBOW模型　74
3.2.2　FastText算法原理　75
3.2.3　FastText算法實戰(zhàn)　81
3.3　基于TextCNN算法的分類
任務實現(xiàn)　93
3.3.1　專有名詞簡介　93
3.3.2　算法介紹　94
3.3.3　參數(shù)調優(yōu)經驗總結　96
3.3.4　基于Keras工具實現(xiàn)TextCNN算法　96
3.4　基于TextRNN算法的分類
任務實現(xiàn)　98
3.4.1　LSTM和BiLSTM　98
3.4.2　TextCNN和TextRNN
識別效果對比　105
3.5　基于Seq2Seq模型的
糾正策略　106
3.5.1　Seq2Seq模型原理　106
3.5.2　糾正不通順句子的方法　108
3.6　本章小結　114
第4章　內容質量　116
4.1　GBDT算法　116
4.1.1　GBDT算法概述　117
4.1.2　負梯度擬合　117
4.1.3　GBDT回歸算法　118
4.1.4　GBDT分類算法　119
4.2　XGBoost算法　121
4.2.1　從GBDT到XGBoost　121
4.2.2　XGBoost損失函數(shù)　122
4.2.3　XGBoost損失函數(shù)的
優(yōu)化求解　124
4.2.4　XGBoost算法流程　125
4.2.5　XGBoost算法參數(shù)
及調優(yōu)　127
4.3　知識問答質量體系的搭建　129
4.3.1　知識問答質量體系
建立的意義　130
4.3.2　整體的項目實施方案　130
4.3.3　知識問答質量體系
搭建流程　133
4.4　本章小結　142
第5章　標簽體系構建　143
5.1　標簽體系　143
5.1.1　標簽體系的重要性　143
5.1.2　標簽體系的分類　144
5.1.3　構建標簽體系　146
5.2　TF-IDF算法　151
5.2.1　TF-IDF算法介紹　151
5.2.2　TF-IDF算法實現(xiàn)　152
5.3　PageRank算法　155
5.4　TextRank算法　163
5.4.1　TextRank算法的使用
場景　164
5.4.2　TextRank算法的
優(yōu)缺點　168
5.5　本章小結　168
第6章 　文本摘要生成　169
6.1　文本摘要相關介紹　169
6.1.1　文本摘要問題定義　169
6.1.2　文本摘要分類　170
6.1.3　文本摘要的技術和方法　170
6.2　基于無監(jiān)督的抽取式文本摘要　172
6.2.1　基于經驗的文本摘要　173
6.2.2　基于主題模型的
文本摘要　175
6.2.3　基于圖的文本摘要　182
6.2.4　基于特征評分的
文本摘要　185
6.2.5　基于聚類的文本摘要　188
6.3　基于有監(jiān)督的抽取式文本摘要　191
6.4　基于深度神經網絡的生成式
文本摘要　201
6.5　文本摘要常用數(shù)據(jù)集　210
6.6　文本摘要評價方法　211
6.6.1　自動評價方法　211
6.6.2　人工評價方法　213
6.7　本章小結　213
第7章　文本糾錯　214
7.1　錯誤來源及類型　214
7.2　文本糾錯的3種傳統(tǒng)方法　215
7.2.1　模板匹配　215
7.2.2　編輯距離匹配　216
7.2.3　HANSpeller++框架　217
7.3　文本糾錯深度學習方法　220
7.3.1　英文文本糾錯方法　220
7.3.2　中文文本糾錯方法　224
7.4　工業(yè)界解決方法　233
7.4.1　3階段級聯(lián)的糾錯方案　234
7.4.2　符合多種場景的通用
糾錯方案　236
7.4.3　保險文本的糾錯方案　237
7.5　文本糾錯工具　239
7.5.1　pycorrector　239
7.5.2　xmnlp　240
7.6　本章小結　242