文本挖掘技術(shù)及其應(yīng)用

第一部分文本挖掘技術(shù)
第一章 技術(shù)介紹
1.1 整合文本挖掘與數(shù)據(jù)挖掘 7
1.2 基礎(chǔ)技術(shù) 10
第二章 資料分析
2.1 挖掘流程 20
2.1.1 數(shù)據(jù)分析 21
2.1.2 基礎(chǔ)挖掘 26 
第二部分文本挖掘以軟件R為例
第一章 緒論
1.1 什么是Big Data 31
1.2 數(shù)據(jù)挖掘 32
1.3 文字挖掘 33
1.4 R軟件 34
1.4.1 R簡(jiǎn)介 34
1.4.2 R的特色 34
1.4.3 R的基本安裝 35
1.4.4 包安裝 35
第二章 基本工具
2.1 基本工具 37
2.1.1 安裝rJava包 37
2.1.2 安裝Rwordseg包 37
2.1.3 安裝tm包 38
2.1.4 安裝tmcn包 38
2.1.5 安裝wordcloud、ggplot2、graphics包 38
2.1.6 安裝Rfacebook、Rweibo、Rtwitter包 38
2.2 社群開(kāi)放平臺(tái)權(quán)限申請(qǐng) 39
2.2.1 如何獲得Facebook權(quán)限 39
2.2.2 如何獲得Weibo權(quán)限 46
第三章 文字挖掘之爬蟲(chóng)
3.1 R Facebook 50
3.1.1 使用者發(fā)文 50
3.1.2 粉絲者發(fā)文 51
3.1.3所需R包（Rfacebook、fbOAuth、getPage、getPost） 54
3.2 R Weibo 58
3.2.1 主題 58
3.2.2 時(shí)間區(qū)間 59
3.2.3 所需R包（XML、Rweibo、web.search.content） 61
3.3 R Twitter 64
3.3.1 關(guān)鍵詞 64
3.3.2 所需R包（devtools、rjson、bit64、httr、twitteR、sink） 66
3.4 網(wǎng)頁(yè)爬蟲(chóng) 70
3.4.1 爬一般網(wǎng)頁(yè)文字 70
3.4.2 爬PTT網(wǎng)頁(yè)文字 74
3.4.3 所需R包（XML、RCurl） 76
3.5 SpideR 79
3.5.1 所需R包 79
3.5.2 有關(guān)爬蟲(chóng)時(shí)的注意事項(xiàng) 79
3.5.3 抓取網(wǎng)頁(yè)數(shù)據(jù)的標(biāo)準(zhǔn)作業(yè)程序 80
3.5.4 R IDE的Encoding 80
3.5.5 讀取檔案或網(wǎng)頁(yè)的Encoding 81
3.5.6 R IDE 開(kāi)發(fā)SpideR 面對(duì)Encoding 的解決方案 82
第四章 數(shù)據(jù)預(yù)處理
4.1 編碼處理 83
4.2 代表性語(yǔ)料庫(kù)、詞庫(kù)簡(jiǎn)介 85
4.3 斷詞方法 90
4.4 字詞處理 93
4.5 語(yǔ)料庫(kù)建立 95
4.6 正則表達(dá)式(Regular Expressions) 98
第五章 資料分析
5.1 頻率 99
5.2 DTM(TDM) matrix 100
5.3 關(guān)聯(lián)分析 103
5.4 集群分析 104
5.5 主成份分析 109
5.6 詞云聚類分析 114 
第三部分文本挖掘 MS SQL Sever
第一章 數(shù)據(jù)預(yù)處理
1.1 匯入文檔 NGArticles 120
1.2 建立NGArticles的辭庫(kù) 130
1.2.1 建立字詞 (Dictionary) 130
1.2.2 建立詞向量 145
1.2.3 建立Train Sample和Test Sample 154
第二章 資料分析
2.1 串聯(lián)Train Sample、Test Sample和TermVectors 160
2.2 建構(gòu)datamining模型（判定樹(shù)、類神經(jīng)網(wǎng)絡(luò)、羅吉斯回歸） 164
2.3 圖表分析 173
2.3.1 各模型之精確度圖表分析 173
2.3.2 判定樹(shù)圖表分析 175
2.3.3 類神經(jīng)網(wǎng)絡(luò)圖表分析 176 
第四部分 TextMining在實(shí)務(wù)上的應(yīng)用
1.1 創(chuàng)造商機(jī) 205
1.2 結(jié)語(yǔ) 213