Python數(shù)據(jù)挖掘技術(shù)及應(yīng)用（微課版）

目錄



第1章緒論1
1.1數(shù)據(jù)挖掘的相關(guān)概念1
1.2數(shù)據(jù)挖掘的步驟2
1.3數(shù)據(jù)挖掘的典型應(yīng)用3
1.3.1數(shù)據(jù)挖掘在市場(chǎng)營(yíng)銷(xiāo)中的應(yīng)用3
1.3.2數(shù)據(jù)挖掘在企業(yè)危機(jī)管理中的應(yīng)用3
1.4數(shù)據(jù)挖掘的主要挑戰(zhàn)3
1.4.1數(shù)據(jù)挖掘查詢語(yǔ)言3
1.4.2用戶交互4
1.4.3并行、分布和增量挖掘算法4
1.4.4數(shù)據(jù)類型的多樣化4
1.5本章小結(jié)5
第2章pandas數(shù)據(jù)處理6
2.1Series對(duì)象6
2.1.1Series對(duì)象的創(chuàng)建6
2.1.2Series對(duì)象的屬性8
2.1.3Series對(duì)象的查看和修改8
2.2Series對(duì)象的基本運(yùn)算9
2.2.1算術(shù)運(yùn)算與函數(shù)運(yùn)算9
2.2.2Series對(duì)象之間的運(yùn)算10
2.3DataFrame對(duì)象10
2.3.1DataFrame對(duì)象的創(chuàng)建10
2.3.2DataFrame對(duì)象的屬性12
2.3.3查看和修改DataFrame對(duì)象的元素14
2.3.4判斷元素是否屬于DataFrame對(duì)象16
2.4DataFrame對(duì)象的基本運(yùn)算17
2.4.1數(shù)據(jù)篩選17
2.4.2數(shù)據(jù)預(yù)處理19
2.4.3數(shù)據(jù)運(yùn)算與排序33
2.4.4數(shù)學(xué)統(tǒng)計(jì)38
2.4.5數(shù)據(jù)分組與聚合44
2.5pandas數(shù)據(jù)可視化51
2.5.1繪制折線圖52
2.5.2繪制條形圖53
2.6pandas讀寫(xiě)數(shù)據(jù)55
2.6.1讀寫(xiě)csv文件56
2.6.2讀取txt文件59
2.6.3讀寫(xiě)Excel文件60
2.7本章小結(jié)64
第3章認(rèn)識(shí)數(shù)據(jù)65
3.1數(shù)據(jù)類型65
3.1.1屬性類型65
3.1.2數(shù)據(jù)集的類型66
3.2數(shù)據(jù)質(zhì)量分析67
3.2.1缺失值分析68
3.2.2異常值分析69
3.2.3一致性分析72
3.3數(shù)據(jù)特征分析72
3.3.1分布特征72
3.3.2統(tǒng)計(jì)量特征73
3.3.3周期性特征78
3.3.4相關(guān)性特征80
3.4本章小結(jié)81
第4章數(shù)據(jù)預(yù)處理82
4.1數(shù)據(jù)清洗82
4.1.1處理缺失值82
4.1.2噪聲數(shù)據(jù)處理89
4.2數(shù)據(jù)集成90
4.2.1實(shí)體識(shí)別問(wèn)題90
4.2.2屬性冗余問(wèn)題91
4.2.3元組重復(fù)問(wèn)題91
4.2.4屬性值沖突問(wèn)題92
4.3數(shù)據(jù)規(guī)范化92
4.3.1最小最大規(guī)范化92
4.3.2z分?jǐn)?shù)規(guī)范化94
4.3.3小數(shù)定標(biāo)規(guī)范化94
4.4數(shù)據(jù)離散化94
4.4.1無(wú)監(jiān)督離散化95
4.4.2監(jiān)督離散化96
4.5數(shù)據(jù)歸約96
4.5.1過(guò)濾法97
4.5.2包裝法99
4.5.3嵌入法99
4.6數(shù)據(jù)降維100
4.6.1主成分分析法101
4.6.2線性判別分析法101
4.7學(xué)生考試成績(jī)預(yù)處理102
4.8本章小結(jié)106
第5章決策樹(shù)分類107
5.1相似性和相異性的度量107
5.1.1數(shù)據(jù)對(duì)象之間的相異度107
5.1.2數(shù)據(jù)對(duì)象之間的相似度109
5.2分類概述111
5.2.1分類的基本概念111
5.2.2分類的一般流程112
5.3決策樹(shù)分類概述113
5.3.1決策樹(shù)的工作原理113
5.3.2選擇最佳劃分屬性的度量117
5.3.3決策樹(shù)分類待測(cè)樣本的過(guò)程120
5.4ID3決策樹(shù)120
5.4.1ID3決策樹(shù)的工作原理120
5.4.2Python實(shí)現(xiàn)ID3決策樹(shù)122
5.4.3使用ID3決策樹(shù)預(yù)測(cè)貸款申請(qǐng)130
5.4.4ID3決策樹(shù)的缺點(diǎn)131
5.5C4.5決策樹(shù)的分類算法131
5.5.1C4.5決策樹(shù)的工作原理131
5.5.2Python實(shí)現(xiàn)C4.5決策樹(shù)133
5.5.3使用C4.5決策樹(shù)預(yù)測(cè)鳶尾花類別139
5.6CART決策樹(shù)139
5.6.1CART決策樹(shù)的工作原理139
5.6.2Python實(shí)現(xiàn)CART決策樹(shù)139
5.7本章小結(jié)143
第6章貝葉斯分類144
6.1貝葉斯定理144
6.1.1概率基礎(chǔ)144
6.1.2貝葉斯定理簡(jiǎn)介146
6.1.3先驗(yàn)概率與后驗(yàn)概率147
6.2樸素貝葉斯分類的原理與分類流程147
6.2.1貝葉斯分類原理147
6.2.2樸素貝葉斯分類的流程147
6.3高斯樸素貝葉斯分類150
6.3.1scikitlearn實(shí)現(xiàn)高斯樸素貝葉斯分類150
6.3.2Python實(shí)現(xiàn)iris高斯樸素貝葉斯分類151
6.4多項(xiàng)式樸素貝葉斯分類156
6.5伯努利樸素貝葉斯分類157
6.6本章小結(jié)157
第7章支持向量機(jī)分類158
7.1支持向量機(jī)概述158
7.1.1支持向量機(jī)的分類原理158
7.1.2最大邊緣超平面158
7.2線性支持向量機(jī)159
7.2.1線性決策邊界159
7.2.2線性分類器邊緣160
7.2.3訓(xùn)練線性支持向量機(jī)模型161
7.3Python實(shí)現(xiàn)支持向量機(jī)163
7.3.1SVC支持向量機(jī)分類模型164
7.3.2NuSVC支持向量機(jī)分類模型166
7.3.3LinearSVC支持向量機(jī)分類模型167
7.4本章小結(jié)168
第8章感知器分類169
8.1人工神經(jīng)元169
8.1.1神經(jīng)元概述169
8.1.2激活函數(shù)170
8.2感知器171
8.2.1感知器模型171
8.2.2感知器學(xué)習(xí)算法172
8.3Python實(shí)現(xiàn)感知器學(xué)習(xí)算法概述174
8.3.1Python實(shí)現(xiàn)感知器學(xué)習(xí)算法174
8.3.2使用感知器分類鳶尾花數(shù)據(jù)175
8.4本章小結(jié)177
第9章回歸178
9.1回歸概述178
9.1.1回歸的概念178
9.1.2回歸處理流程178
9.1.3回歸的分類178
9.2一元線性回歸178
9.2.1一元線性回歸模型178
9.2.2使用一元線性回歸預(yù)測(cè)房?jī)r(jià)182
9.3多元線性回歸185
9.3.1多元線性回歸模型185
9.3.2使用多元線性回歸分析廣告媒介與銷(xiāo)售額之間的關(guān)系187
9.3.3多元線性回歸模型預(yù)測(cè)電能輸出188
9.4非線性回歸191
9.4.1多項(xiàng)式回歸191
9.4.2非多項(xiàng)式的非線性回歸195
9.5邏輯回歸198
9.5.1邏輯回歸模型199
9.5.2對(duì)鳶尾花數(shù)據(jù)進(jìn)行邏輯回歸分析201
9.6本章小結(jié)203
第10章聚類204
10.1聚類概述204
10.1.1聚類的概念204
10.1.2聚類方法類型205
10.1.3聚類應(yīng)用領(lǐng)域206
10.2k均值聚類206
10.2.1k均值聚類的原理206
10.2.2Python實(shí)現(xiàn)對(duì)鳶尾花的k均值聚類208
10.3層次聚類方法211
10.3.1層次聚類的原理211
10.3.2Python實(shí)現(xiàn)凝聚層次聚類214
10.3.3BIRCH聚類的原理217
10.3.4Python實(shí)現(xiàn)BIRCH聚類220
10.4密度聚類221
10.4.1密度聚類的原理221
10.4.2Python實(shí)現(xiàn)DBSCAN密度聚類224
10.5本章小結(jié)227
第11章關(guān)聯(lián)規(guī)則挖掘228
11.1關(guān)聯(lián)規(guī)則挖掘概述228
11.1.1購(gòu)物籃分析228
11.1.2關(guān)聯(lián)規(guī)則相關(guān)概念229
11.1.3關(guān)聯(lián)規(guī)則類型231
11.2頻繁項(xiàng)集的產(chǎn)生232
11.2.1先驗(yàn)原理233
11.2.2Apriori算法產(chǎn)生頻繁項(xiàng)集233
11.2.3候選項(xiàng)集的產(chǎn)生與剪枝236
11.2.4頻繁項(xiàng)集及其支持度的Python實(shí)現(xiàn)237
11.3關(guān)聯(lián)規(guī)則的產(chǎn)生239
11.3.1關(guān)聯(lián)規(guī)則產(chǎn)生的原理239
11.3.2Apriori算法產(chǎn)生關(guān)聯(lián)規(guī)則的方式240
11.3.3頻繁項(xiàng)集的緊湊表示241
11.4FP增長(zhǎng)算法242
11.4.1構(gòu)建FP樹(shù)243
11.4.2FP樹(shù)的挖掘245
11.5本章小結(jié)247
第12章推薦系統(tǒng)248
12.1推薦系統(tǒng)的概念248
12.1.1基本概念248
12.1.2推薦系統(tǒng)的類型249
12.2基于內(nèi)容的推薦250
12.2.1文本表示251
12.2.2文本相似度257
12.2.3Python實(shí)現(xiàn)基于內(nèi)容的推薦258
12.3基于用戶的協(xié)同過(guò)濾推薦261
12.3.1收集用戶偏好262
12.3.2尋找相似的用戶262
12.3.3為相似的用戶推薦商品266
12.4基于物品的協(xié)同過(guò)濾推薦267
12.4.1獲取用戶對(duì)物品的評(píng)分267
12.4.2計(jì)算物品共同出現(xiàn)的次數(shù)和一個(gè)物品被多少個(gè)用戶購(gòu)買(mǎi)268
12.4.3計(jì)算物品之間的相似度268
12.4.4給用戶推薦物品269
12.5本章小結(jié)270
第13章電商評(píng)論網(wǎng)絡(luò)爬取與情感分析271
13.1網(wǎng)絡(luò)爬蟲(chóng)概述271
13.1.1網(wǎng)頁(yè)的概念271
13.1.2網(wǎng)絡(luò)爬蟲(chóng)的工作流程271
13.2使用BeautifulSoup庫(kù)提取網(wǎng)頁(yè)信息272
13.2.1BeautifulSoup的安裝272
13.2.2BeautifulSoup庫(kù)的導(dǎo)入272
13.2.3BeautifulSoup類的基本元素273
13.2.4HTML內(nèi)容搜索274
13.3使用urllib庫(kù)編寫(xiě)簡(jiǎn)單的網(wǎng)絡(luò)爬蟲(chóng)277
13.3.1發(fā)送不帶參數(shù)的GET請(qǐng)求277
13.3.2模擬瀏覽器發(fā)送帶參數(shù)的GET請(qǐng)求278
13.3.3URL解析279
13.4爬取京東小米手機(jī)評(píng)論280
13.4.1京東網(wǎng)站頁(yè)面分析280
13.4.2編寫(xiě)京東小米手機(jī)評(píng)論爬蟲(chóng)代碼283
13.5對(duì)手機(jī)評(píng)論文本進(jìn)行情感分析286
13.5.1文本情感傾向分析的層次286
13.5.2中文文本情感傾向分析287
13.5.3評(píng)論文本情感傾向分析288
13.5.4評(píng)論文本分詞290
13.5.5去除停用詞291
13.5.6評(píng)論文本的LDA主題分析292
13.6本章小結(jié)297
參考文獻(xiàn)298