123,123

內(nèi)容簡(jiǎn)介

　　數(shù)據(jù)預(yù)處理是數(shù)據(jù)分析、數(shù)據(jù)挖掘或人工智能中必不可少的環(huán)節(jié)，它通過(guò)一定的方法將存在諸多問(wèn)題的低質(zhì)量數(shù)據(jù)處理變成高質(zhì)量數(shù)據(jù)，在一定程度上提高數(shù)據(jù)分析或數(shù)據(jù)挖掘等工作的效率。本書(shū)以Jupyter Notebook為主要開(kāi)發(fā)工具，采用理論與實(shí)例相結(jié)合的形式，全面地介紹數(shù)據(jù)預(yù)處理的相關(guān)知識(shí)。全書(shū)共8章，其中第1章介紹數(shù)據(jù)預(yù)處理的入門(mén)知識(shí)；第2～6章介紹科學(xué)計(jì)算庫(kù)NumPy和數(shù)據(jù)分析庫(kù)pandas，以及通過(guò)pandas庫(kù)實(shí)現(xiàn)數(shù)據(jù)獲取、數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約的功能；第7章介紹數(shù)據(jù)清理工具OpenRefine的安裝及使用；第8章結(jié)合前期的核心知識(shí)進(jìn)行實(shí)戰(zhàn)演練。除第1章外，其他章均配置了豐富的示例或案例，讀者可以一邊學(xué)習(xí)一邊練習(xí)，鞏固所學(xué)的知識(shí)，并在實(shí)踐中提升實(shí)際開(kāi)發(fā)能力。本書(shū)附有配套視頻、源代碼、習(xí)題、教學(xué)課件等資源。為幫助初學(xué)者更好地學(xué)習(xí)本書(shū)中的內(nèi)容，本書(shū)還提供了在線答疑。本書(shū)既可作為高等院校計(jì)算機(jī)相關(guān)專(zhuān)業(yè)的專(zhuān)用教材，也可以作為相關(guān)技術(shù)愛(ài)好者的入門(mén)用書(shū)。

作者簡(jiǎn)介

　　黑馬程序員，傳智播客旗下高端教育品牌，成立于2006年，它是由中國(guó)Java培訓(xùn)先行者張孝祥老師發(fā)起，聯(lián)合***大的中文IT社區(qū)CSDN、中關(guān)村軟件園共同創(chuàng)辦的一家專(zhuān)業(yè)教育機(jī)構(gòu)。辦學(xué)至今，我們一直堅(jiān)守著“為千萬(wàn)人少走彎路而著書(shū)，為中華軟件之崛起而講課”的辦學(xué)理念，堅(jiān)持培養(yǎng)優(yōu)秀軟件應(yīng)用工程師的宏偉目標(biāo)，在累計(jì)培養(yǎng)的十萬(wàn)余名學(xué)員中。

圖書(shū)目錄

第 1章　數(shù)據(jù)預(yù)處理概述　001
1．1　什么是數(shù)據(jù)預(yù)處理　001
1．2　常見(jiàn)的數(shù)據(jù)問(wèn)題　003
1．3　數(shù)據(jù)預(yù)處理的流程　003
1．4　常用的數(shù)據(jù)預(yù)處理庫(kù)　005
1．5　開(kāi)發(fā)工具與環(huán)境　006
1．5．1　安裝與使用Jupyter Notebook　006
1．5．2　安裝數(shù)據(jù)預(yù)處理庫(kù)　008
1．6　本章小結(jié)　009
1．7　習(xí)題　009
第　2章科學(xué)計(jì)算庫(kù)——NumPy　010
2．1　數(shù)組對(duì)象　010
2．2　創(chuàng)建數(shù)組　012
2．3　訪問(wèn)數(shù)組元素　014
2．3．1　使用整數(shù)索引訪問(wèn)元素　014
2．3．2　使用花式索引或布爾索引訪問(wèn)元素　015
2．3．3　使用切片訪問(wèn)元素　017
2．4　數(shù)組運(yùn)算　018
2．4．1　形狀相同的數(shù)組間運(yùn)算　018
2．4．2　形狀不同的數(shù)組間運(yùn)算　019
2．4．3　數(shù)組與標(biāo)量的運(yùn)算　020
2．5　數(shù)組操作　021
2．5．1　排序　021
2．5．2　檢索數(shù)組元素　022
2．5．3　元素唯一化　022
2．6　數(shù)組的轉(zhuǎn)置　023
2．7　本章小結(jié)　025
2．8　習(xí)題　025
第3章　pandas庫(kù)基礎(chǔ)　028
3．1　數(shù)據(jù)結(jié)構(gòu)　028
3．1．1　Series　028
3．1．2　DataFrame　030
3．2　索引操作　032
3．2．1　索引對(duì)象　032
3．2．2　使用單層索引訪問(wèn)數(shù)據(jù)　033
3．2．3　使用分層索引訪問(wèn)數(shù)據(jù)　035
3．2．4　重新索引　038
3．3　數(shù)據(jù)排序　039
3．3．1　按索引排序　040
3．3．2　按值排序　041
3．4　統(tǒng)計(jì)計(jì)算與統(tǒng)計(jì)描述　042
3．4．1　統(tǒng)計(jì)計(jì)算　042
3．4．2　統(tǒng)計(jì)描述　043
3．5　繪制圖表　044
3．6　本章小結(jié)　046
3．7　習(xí)題　046
第4章　數(shù)據(jù)獲取　048
4．1　從CSV和TXT文件讀取數(shù)據(jù)　048
4．2　從Excel文件讀取數(shù)據(jù)　050
4．3　從JSON文件讀取數(shù)據(jù)　052
4．4　從HTML表格讀取數(shù)據(jù)　053
4．5　從數(shù)據(jù)庫(kù)讀取數(shù)據(jù)　054
4．6　從Word文件讀取數(shù)據(jù)　056
4．6．1　python-docx庫(kù)概述　056
4．6．2　python-docx庫(kù)的基本使用　057
4．7　從PDF文件讀取數(shù)據(jù)　059
4．7．1　pdfplumber庫(kù)概述　059
4．7．2　pdfplumber庫(kù)的基本使用　060
4．8　本章小結(jié)　061
4．9　習(xí)題　062
第5章　數(shù)據(jù)清理　064
5．1　數(shù)據(jù)清理概述　064
5．2　缺失值的檢測(cè)與處理　065
5．2．1　缺失值的檢測(cè)　065
5．2．2　缺失值的處理　066
5．3　重復(fù)值的檢測(cè)與處理　070
5．3．1　重復(fù)值的檢測(cè)　070
5．3．2　重復(fù)值的處理　071
5．4　異常值的檢測(cè)與處理　072
5．4．1　異常值的檢測(cè)　072
5．4．2　異常值的處理　076
5．5　案例——成都某地區(qū)二手房數(shù)據(jù)清理　078
【分析目標(biāo)】　078
【數(shù)據(jù)獲取】　078
【數(shù)據(jù)清理】　079
5．6　本章小結(jié)　083
5．7　習(xí)題　083
第6章　數(shù)據(jù)集成、變換與規(guī)約　086
6．1　數(shù)據(jù)集成　086
6．1．1　數(shù)據(jù)集成概述　086
6．1．2　合并數(shù)據(jù)　087
6．2　數(shù)據(jù)變換　093
6．2．1　數(shù)據(jù)變換概述　093
6．2．2　軸向旋轉(zhuǎn)　094
6．2．3　分組與聚合　095
6．2．4　啞變量處理　100
6．2．5　面元?jiǎng)澐帧?02
6．3　數(shù)據(jù)規(guī)約　104
6．3．1　數(shù)據(jù)規(guī)約概述　104
6．3．2　重塑分層索引　105
6．3．3　降采樣　106
6．4　案例——中國(guó)籃球運(yùn)動(dòng)員的基本信息分析　108
【分析目標(biāo)】　108
【數(shù)據(jù)獲取】　108
【數(shù)據(jù)清理】　109
【實(shí)現(xiàn)步驟】　116
6．5　本章小結(jié)　119
6．6　習(xí)題　119
第7章　數(shù)據(jù)清理工具—— OpenRefine　122
7．1　OpenRefine介紹　122
7．2　OpenRefine的下載與安裝　123
7．3　OpenRefine的基本操作　124
7．3．1　基本配置　125
7．3．2　創(chuàng)建項(xiàng)目　126
7．3．3　操作列　127
7．3．4　撤銷(xiāo)與重做　132
7．3．5　導(dǎo)出數(shù)據(jù)　133
7．4　OpenRefine的進(jìn)階操作　135
7．4．1　數(shù)據(jù)排序　135
7．4．2　數(shù)據(jù)歸類(lèi)　137
7．4．3　重復(fù)檢測(cè)　138
7．4．4　數(shù)據(jù)填充　141
7．4．5　文本過(guò)濾　142
7．4．6　數(shù)據(jù)轉(zhuǎn)換　143
7．5　案例——多倫多市建筑許可數(shù)據(jù) 分析　145
【分析目標(biāo)】　145
【數(shù)據(jù)獲取】　145
【數(shù)據(jù)清理】　146
【實(shí)現(xiàn)步驟】　152
7．6　本章小結(jié)　153
7．7　習(xí)題　154
第8章　實(shí)戰(zhàn)演練——數(shù)據(jù)分析師崗位分析　156
8．1　知識(shí)精講　156
8．1．1　數(shù)據(jù)分析的流程　156
8．1．2　使用pyecharts繪制圖表　157
8．2　分析目標(biāo)與思路　160
8．3　數(shù)據(jù)收集　161
8．4　數(shù)據(jù)預(yù)處理　163
8．5　數(shù)據(jù)分析與展現(xiàn)　166
8．5．1　分析展現(xiàn)數(shù)據(jù)分析師崗位的需求趨勢(shì)　166
8．5．2　分析展現(xiàn)數(shù)據(jù)分析師崗位的熱門(mén)城市Top10　167
8．5．3　分析展現(xiàn)不同城市數(shù)據(jù)分析師崗位的薪資水平　169
8．5．4　分析展現(xiàn)數(shù)據(jù)分析師崗位的學(xué)歷要求　171
8．6　本章小結(jié)　172