數(shù)據(jù)挖掘?qū)嵺`：計(jì)算機(jī)科學(xué)叢書

　　OliviaParrRud是DataSquare，LLC的執(zhí)行副總裁。Olivia在金融服務(wù)行業(yè)已經(jīng)工作了二十多年，其中10年專門從事信用卡、保險(xiǎn)、電信、零售、度假業(yè)、名錄服務(wù)行業(yè)的數(shù)據(jù)挖掘、建模和劃分工作。利用自己分析能力與創(chuàng)造才華，她提供客戶獲取、模型維護(hù)、風(fēng)險(xiǎn)、總盈利等方面的分析和解決方案。本書詳細(xì)介紹了一種新的數(shù)據(jù)挖掘技術(shù)—數(shù)據(jù)建模，并著重闡述整個(gè)模型開發(fā)過程的細(xì)節(jié)。本書包括三個(gè)部分。第一部分講述了基礎(chǔ)知識(shí)，內(nèi)容涉及確定目標(biāo)和從商業(yè)預(yù)測中定義目標(biāo)的重要性，并給出了收集數(shù)據(jù)和創(chuàng)建數(shù)據(jù)集的例子。第二部分通過一實(shí)例詳?shù)殛U述了模型開發(fā)的整個(gè)過程。第三部分通過應(yīng)用于保險(xiǎn)業(yè)、銀行、電信行業(yè)的實(shí)例詳細(xì)說明了不同目標(biāo)的數(shù)據(jù)建模過程中的幾個(gè)關(guān)鍵步驟。本書將數(shù)據(jù)挖掘的技藝用飲食烹調(diào)的思？爰右在故?，易诱O斫猓閿誚郵?。蕶┬给除_鬧詼嗍道浞痔逑至俗髡叨嗄甑男幸稻?，毒壉前的手C∮涂突Ч叵倒芾斫＞哂屑訓(xùn)慕杓饔謾１臼槭屎暇哂幸歡ǖ耐臣坪頭治黿；〉畝琳咴畝?，可作为分析师、数据驼a蛉嗽?、营销经理的工佐|植幔部勺魑撲慊喙刈ㄒ檔謀究粕?，研究生綖┠幌娿^潿廖鎩？"什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘（datamining）這個(gè)術(shù)語涵蓋了應(yīng)用于各個(gè)行業(yè)的多種技術(shù)。由于市場份額和利潤競爭的日趨激烈，數(shù)據(jù)挖掘成為公司在客戶生命周期的各個(gè)階段維持競爭力的必要工具。過去，數(shù)據(jù)挖掘的形式之一也稱為數(shù)據(jù)捕撈（datadredging）。這種方法曾被認(rèn)為沒有達(dá)到合格的研究標(biāo)準(zhǔn)。也就是說，研究人員實(shí)際上可能沒有作任何預(yù)定義的假設(shè)就開始研究所有的數(shù)據(jù)。然而，由于這種形式的數(shù)據(jù)挖掘確實(shí)可以發(fā)現(xiàn)有價(jià)值的信息，所以它開始被廣為接受。在美國的公司里，如果有一種方法可以發(fā)現(xiàn)如何提高利潤，那么人們會(huì)迅速地接受、信賴它。20世紀(jì)80年代末至90年代初，另一種形式的數(shù)據(jù)挖掘開始在營銷領(lǐng)域流行起來。幾個(gè)技術(shù)領(lǐng)先的信用卡銀行發(fā)現(xiàn)，有一種新的稱為數(shù)據(jù)建模（datamodeling）的數(shù)據(jù)挖掘技術(shù)可以提高獲得客戶的能力，改進(jìn)風(fēng)險(xiǎn)管理。大量的活動(dòng)和空前的增長為數(shù)據(jù)建模的繁榮發(fā)展提供了肥沃的土壤。數(shù)據(jù)建模的成功和它所帶來的利潤為它在其他行業(yè)的應(yīng)用鋪平了道路。目前，使用數(shù)據(jù)建模技術(shù)進(jìn)行營銷的行業(yè)包括保險(xiǎn)業(yè)、零售業(yè)、投資銀行、公共事業(yè)部門、電信業(yè)、能源業(yè)、度假業(yè)、游戲業(yè)和藥品行業(yè)等等。本書的重點(diǎn)許多統(tǒng)計(jì)理論的書都談到了數(shù)據(jù)建模技術(shù)。但本書并不是那樣的一本書！本書討論的重點(diǎn)是在營銷、風(fēng)險(xiǎn)和客戶關(guān)系管理（CRM）中使用這些技術(shù)所需的實(shí)踐知識(shí)。大部分公司都被數(shù)據(jù)挖掘軟件工具？鬧擲嗪凸δ芘醚芻ㄧ月?lián)uＨ砑潭忌撲塹娜砑恰耙子謔褂謾焙汀拔扌樅魏畏治黽寄堋鋇?。但薁楷晤U且言詒玖煊蜆ぷ鞫嗄輳勒廡┕愀媸遣蛔鬮諾摹Ｈ魏謂Ｏ钅康某曬Σ喚黿鋈【鲇詼雜詵椒ㄑУ牧己美斫?，还取决釉溤数臼n⑹諧「駝逕桃的勘甑睦斫?。事实上，峨s謖齬潭?，模型揣f砉討皇瞧渲械囊恍〔糠幀？本書將著重闡述整個(gè)模型開發(fā)的過程。討論的內(nèi)容包括對商業(yè)或市場的預(yù)測，以及處理過程中所需的復(fù)雜的SAS代碼。這是為了強(qiáng)調(diào)實(shí)際模型處理過程之前與之后的步驟的重要性。本書的讀者隨著數(shù)據(jù)挖掘應(yīng)用的飛速發(fā)展，對資深分析師和數(shù)據(jù)挖掘師的需求也增加了。但是，由于此類人才短缺，公司便雇用有才華的統(tǒng)計(jì)學(xué)家或初級(jí)分析師，他們懂技術(shù)，但是缺乏必要的商業(yè)敏感性。公司也可能會(huì)購買復(fù)雜的數(shù)據(jù)挖掘軟件工具，這些工具所提供的解決方案對分析技術(shù)知識(shí)，或者與目標(biāo)相關(guān)的業(yè)務(wù)知識(shí)都知之甚少。不管是哪種情況，都有可能缺乏某些領(lǐng)域的知識(shí)，如定義目標(biāo)的結(jié)構(gòu)，獲取和準(zhǔn)備數(shù)據(jù)，確認(rèn)和應(yīng)用模型以及測量結(jié)果等。任何一個(gè)領(lǐng)域的錯(cuò)誤都可能是災(zāi)難性的，會(huì)造成巨大的浪費(fèi)。本書可作為不同級(jí)別的分析師、數(shù)據(jù)挖掘人員和營銷經(jīng)理的工作手冊。本書提供了數(shù)據(jù)建模的逐步指導(dǎo)，尤其強(qiáng)調(diào)了必要的商業(yè)知識(shí)，以得到有益的結(jié)果。對于那些數(shù)據(jù)挖掘的初學(xué)者，本書可作為整個(gè)過程的綜合指導(dǎo)。對于經(jīng)驗(yàn)豐富的分析師而言，本書可以作為參考手冊。最后，對于管理人員而言，閱讀本書可以對成功運(yùn)用數(shù)據(jù)模型所需的技術(shù)與過程有基本的了解。本書的結(jié)構(gòu)本書分為三個(gè)部分。第一部分講述基礎(chǔ)知識(shí)。第1章討論了確定目標(biāo)和從商業(yè)角度定義目標(biāo)的重要性。第2章討論并提供了大量的例子，其中包括收集數(shù)據(jù)和創(chuàng)建建模數(shù)據(jù)集。第二部分通過一個(gè)案例研究，詳細(xì)闡述了模型開發(fā)過程的每個(gè)步驟。第3章-第7章討論了數(shù)據(jù)清洗、變量歸約和轉(zhuǎn)換、模型處理、驗(yàn)證、實(shí)施的步驟。第三部分提供一系列的案例研究，這些案例分別應(yīng)用于保險(xiǎn)業(yè)、銀行、電信等行業(yè)，詳細(xì)說明了不同目標(biāo)的數(shù)據(jù)建模過程的幾個(gè)關(guān)鍵步驟，包括特征、響應(yīng)、風(fēng)險(xiǎn)和生命周期值。隨著本書對模型開發(fā)步驟的深入探討，作者加進(jìn)了幾位業(yè)內(nèi)專家的合理建議，他們都是數(shù)據(jù)挖掘領(lǐng)域的先鋒。這些建議對某個(gè)主題提出了不同看法，如多重共線性，建立生命周期值模型的其他方法等。所需工具要使用本書提供解決方案，讀者要對統(tǒng)計(jì)學(xué)有基本的了解。如果你的目標(biāo)是要得到管理層數(shù)據(jù)建模的使用建議，則需要進(jìn)行準(zhǔn)確的商業(yè)判斷。本書所有的代碼示例都是用SAS寫的，為了在SAS上實(shí)現(xiàn)這些代碼，用戶需要BaseSAS和SAS／STAT。電子數(shù)據(jù)表都是用微軟的Excel做成的。但是，基本的邏輯和指令對所有的軟件包和建模工具都是有效的。配套光盤本書從第3章—第13章都包含了開發(fā)、驗(yàn)證和實(shí)施數(shù)據(jù)模型的SAS代碼。對這些代碼稍做修改，再加上一些常識(shí)，就能夠從數(shù)據(jù)準(zhǔn)備階段到模型的開發(fā)與驗(yàn)證階段建立一個(gè)模型。但是，這樣需要大量的時(shí)間，還有可能出現(xiàn)編碼錯(cuò)誤。為了簡化這項(xiàng)工作并使代碼更容易地用于不同的數(shù)據(jù)模型，原出版社出版了配套光盤，但需要讀者另行購買。光盤里包括了開發(fā)不同模型所需的全部代碼，模型包括：響應(yīng)、驗(yàn)證、流失、風(fēng)險(xiǎn)、生命周期值或凈現(xiàn)值。開發(fā)目標(biāo)函數(shù)的具體代碼包括信用卡、保險(xiǎn)、電信、名錄服務(wù)的例子。代碼中有清楚的注釋，解釋了每一個(gè)步驟的目的與方法，所需要的軟件是BaseSAS和SAS／STAT。用于創(chuàng)建收益表和增幅圖的電子數(shù)據(jù)表也包含在光盤中。通過SAS創(chuàng)建的初步分析結(jié)果可以得到這些表并加以使用。既然模型處理前后的步驟可以結(jié)合任何數(shù)據(jù)模型軟件包來使用，代碼自然也可以作為獨(dú)立的建模模板。模型處理步驟重點(diǎn)在于邏輯遞歸上的數(shù)據(jù)準(zhǔn)備。光盤上還包括用于變量驗(yàn)證和處理的SAS宏。本書沒有涵蓋的內(nèi)容一本數(shù)據(jù)挖掘的書如果沒有提到隱私權(quán)，那么就不能算是完整。我相信這是數(shù)據(jù)挖掘工作者的一項(xiàng)重要的工作。關(guān)于這個(gè)話題，可以再寫一本書。所以，本書中沒有談到這一點(diǎn)。但是，我希望所有使用個(gè)人數(shù)據(jù)進(jìn)行營銷的公司都能制訂一項(xiàng)隱私權(quán)的法規(guī)。要獲得更進(jìn)一步的信息和指導(dǎo)，請與DirectMarketingAssociation聯(lián)系，電話（212）790-1500，或者訪問他們的網(wǎng)站http：//www.the-dma.org。小結(jié)有效的數(shù)據(jù)挖掘是科學(xué)與藝術(shù)的復(fù)雜混合體。數(shù)據(jù)挖掘工具的數(shù)量每年都在增長。研究人員不斷開發(fā)新方法，軟件廠商實(shí)現(xiàn)現(xiàn)有的方法，才華橫溢的分析師則利用標(biāo)準(zhǔn)技術(shù)來推進(jìn)過程。數(shù)據(jù)挖掘（說得具體一點(diǎn)，數(shù)據(jù)建模）已經(jīng)成為公司維持利潤的戰(zhàn)略必備工具。希望本書可以成為你實(shí)現(xiàn)數(shù)據(jù)挖掘目標(biāo)時(shí)方便的參考和恰當(dāng)?shù)南驅(qū)А?quot;

　　OliviaParrRud是DataSquare，LLC的執(zhí)行副總裁。Olivia在金融服務(wù)行業(yè)已經(jīng)工作了二十多年，其中10年專門從事信用卡、保險(xiǎn)、電信、零售、度假業(yè)、名錄服務(wù)行業(yè)的數(shù)據(jù)挖掘、建模和劃分工作。利用自己分析能力與創(chuàng)造才華，她提供客戶獲取、模型維護(hù)、風(fēng)險(xiǎn)、總盈利等方面的分析和解決方案。