Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)

第1章  大數(shù)據(jù)采集 1
1.1  大數(shù)據(jù)分類 1
1.2  大數(shù)據(jù)采集方法 2
1.3  Python爬蟲 3
1.3.1  審查元素 4
1.3.2  認識網(wǎng)頁結(jié)構(gòu) 5
1.3.3  認識robots.txt的文檔 6
1.3.4  爬蟲的基本原理 11
1.3.5  Python爬蟲架構(gòu) 11
1.3.6  用GET方式抓取數(shù)據(jù) 12
1.3.7  用POST方式抓取數(shù)據(jù) 15
1.3.8  用Beautiful Soup解析網(wǎng)頁 17
1.3.9  Python爬蟲案例 19
1.4  本章小結(jié) 25
第2章  數(shù)據(jù)預(yù)處理 26
2.1  數(shù)據(jù)清洗 26
2.1.1  缺失值處理 27
2.1.2  異常值處理 28
2.2  數(shù)據(jù)集成 30
2.3  數(shù)據(jù)轉(zhuǎn)換 32
2.4  數(shù)據(jù)規(guī)約 34
2.5  Python主要數(shù)據(jù)預(yù)處理函數(shù) 35
2.6  本章小結(jié) 37
第3章  探索性數(shù)據(jù)分析 38
3.1  異常值分析 38
3.2  缺失值分析 41
3.3  分布分析 43
3.4  相關(guān)性分析 46
3.5  對比分析 48
3.6  統(tǒng)計量分析 48
3.7  周期性分析 51
3.8  貢獻度分析 51
3.9  Python主要數(shù)據(jù)探索函數(shù) 52
3.10  本章小結(jié) 53
第4章  Sklearn估計器 54
4.1  Sklearn概述 54
4.2  使用Sklearn估計器分類 58
4.2.1  k近鄰算法 59
4.2.2  管道機制 63
4.2.3  Sklearn比較分類器 65
4.3  本章小結(jié) 69
第5章  主流數(shù)據(jù)分析庫 70
5.1  NumPy 70
5.2  Pandas 75
5.2.1  Pandas系列 76
5.2.2  Pandas數(shù)據(jù)幀 78
5.2.3  Pandas面板 84
5.3  SciPy 86
5.4  Matplotlib 90
5.5  本章小結(jié) 93
第6章  大數(shù)據(jù)：數(shù)據(jù)庫類型 94
6.1  關(guān)系型數(shù)據(jù)庫 94
6.2  關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫的關(guān)系 95
6.3  SQLite 96
6.3.1  SQLite安裝與配置 96
6.3.2  SQLite命令 97
6.3.3  SQLite語法 99
6.3.4  SQLite - Python 104
6.4  MySQL 111
6.4.1  MySQL安裝 111
6.4.2  MySQL管理 114
6.4.3  MySQL PHP語法 116
6.4.4  PHP腳本連接MySQL 116
6.4.5  Python操作MySQL數(shù)據(jù)庫 117
6.5  NoSQL數(shù)據(jù)庫 123
6.5.1  NoSQL概述 123
6.5.2  列存儲數(shù)據(jù)庫 125
6.5.3  文檔存儲數(shù)據(jù)庫 134
6.5.4  鍵值存儲數(shù)據(jù)庫 143
6.5.5  圖存儲數(shù)據(jù)庫 153
6.5.6  對象存儲數(shù)據(jù)庫 155
6.5.7  XML數(shù)據(jù)庫 155
6.6  本章小結(jié) 157
第7章  數(shù)據(jù)倉庫/商業(yè)智能 158
7.1  數(shù)據(jù)倉庫和商業(yè)智能簡介 158
7.2  數(shù)據(jù)倉庫架構(gòu) 159
7.3  OLAP 160
7.4  數(shù)據(jù)集市 161
7.5  商業(yè)智能 162
7.6  本章小結(jié) 163
第8章  數(shù)據(jù)聚合與分組運算 164
8.1  GroupBy技術(shù) 164
8.1.1  通過函數(shù)進行分組 165
8.1.2  對分組進行迭代 167
8.1.3  選取一個或一組列 170
8.1.4  通過字典或Series進行分組 171
8.1.5  通過函數(shù)進行分組 172
8.1.6  根據(jù)索引級別分組 173
8.2  數(shù)據(jù)聚合 174
8.2.1  面向列的多函數(shù)應(yīng)用 174
8.2.2  以無索引的方式返回聚合數(shù)據(jù) 177
8.2.3  分組級運算和轉(zhuǎn)換 178
8.3  透視表和交叉表 181
8.4  本章小結(jié) 183
第9章  數(shù)據(jù)挖掘工具 184
9.1  數(shù)據(jù)挖掘工具分類 184
9.2  數(shù)據(jù)挖掘經(jīng)典算法 185
9.3  免費數(shù)據(jù)挖掘工具 186
9.4  Git和GitHub項目數(shù)據(jù)挖掘工具 188
9.5  Python數(shù)據(jù)挖掘工具 190
9.5.1  Gensim 190
9.5.2  TensorFlow 194
9.5.3  Keras 197
9.6  本章小結(jié) 197
第10章  挖掘建模 198
10.1  數(shù)據(jù)挖掘建模的一般過程 198
10.2  分類與預(yù)測 199
10.3  聚類分析 200
10.4  關(guān)聯(lián)分析 201
10.5  時序模式 202
10.6  離群點檢測 203
10.7  本章小結(jié) 204
第11章  模型評估 205
11.1  驗證 205
11.2  交叉驗證 206
11.3  自助法 206
11.4  回歸評估指標 207
11.5  分類評估指標 207
11.6  ROC曲線 208
11.7  本章小結(jié) 210
第12章  社會媒體挖掘 211
12.1  社會媒體與社會媒體數(shù)據(jù) 211
12.2  中國社會媒體核心用戶數(shù)據(jù)分析 212
12.3  社會媒體挖掘技術(shù)與研究熱點 213
12.4  社會媒體挖掘流程 214
12.5  Twitter情感分析 216
12.6  本章小結(jié) 221
第13章  圖挖掘分類 222
13.1  圖挖掘概述 222
13.2  圖挖掘技術(shù)基礎(chǔ) 224
13.3  網(wǎng)絡(luò)度量 226
13.4  網(wǎng)絡(luò)模型 229
13.5  圖挖掘與知識推理 230
13.6  圖挖掘算法簡介 231
13.7  社區(qū)檢測 232
13.7.1  模塊度 233
13.7.2  社區(qū)發(fā)現(xiàn)算法 234
13.8  頻繁子圖挖掘算法gSpan的實現(xiàn) 237
13.9  基于networkx進行社交網(wǎng)絡(luò)分析 239
13.10  本章小結(jié) 245
第14章  基于深度學習的驗證碼識別 246
14.1  獲取圖片驗證碼 246
14.2  驗證碼圖片預(yù)處理 248
14.3  依賴TensorFlow的深度學習驗證碼識別 255
14.4  本章小結(jié) 259
第15章  基于深度學習的文本分類挖掘?qū)崿F(xiàn) 260
15.1  文本分類概念 260
15.2  文本分類挖掘算法概述 261
15.3  基于傳統(tǒng)機器學習的文本分類 262
15.4  基于深度學習的文本分類 263
15.4.1  FastText文本分類模型算法實現(xiàn) 264
15.4.2  TextCNN文本分類模型算法實現(xiàn) 268
15.4.3  Bert深度雙向Transformer構(gòu)建語言理解預(yù)訓練模型 271
15.4.4  TextRNN文本分類 273
15.4.5  RCNN文本分類 275
15.4.6  Hierarchical Attention Network文本分類 278
15.4.7  seq2seq with attention文本分類 281
15.4.8  Transformer文本分類 283
15.4.9  Dynamic Memory Network文本分類 289
15.4.10  Recurrent Entity Network文本分類 292
15.4.11  Boosting文本分類 294
15.4.12  BiLstmTextRelation文本分析 294
15.4.13  twoCNNTextRelation文本分類 297
15.5  本章小結(jié) 297
參考文獻 298