基于聚類分析的專家分類方法研究.pdf

1、隨著大數(shù)據(jù)時代的發(fā)展，數(shù)據(jù)挖掘技術(shù)受到了學(xué)術(shù)界以及工業(yè)界的青睞和廣泛應(yīng)用。本文來源于東南大學(xué)米谷大數(shù)據(jù)聯(lián)合實驗室，面向產(chǎn)學(xué)研的專家推薦平臺的項目，以聚類分析相關(guān)技術(shù)為核心，為平臺提供后臺的領(lǐng)域?qū)＜覕?shù)據(jù)支持。
　　順應(yīng)計算機領(lǐng)域的發(fā)展熱潮以及相關(guān)高新產(chǎn)業(yè)的聚集，本文選擇了計算機學(xué)科的領(lǐng)域?qū)＜疫M行研究。同時，由于專家數(shù)據(jù)源的多樣性，無法實現(xiàn)自動化過程，故本文的數(shù)據(jù)源選擇萬方中計算機學(xué)科1990年至2016年的計算機學(xué)科學(xué)生學(xué)位論文12

2、5499篇。從學(xué)生的論文研究角度出發(fā)，推測其導(dǎo)師，即本文中的專家的研究方向。從大量數(shù)據(jù)中挖掘出所需的專家研究領(lǐng)域信息，對其進行分類。由于專家的研究方向無法預(yù)知，故本文的技術(shù)核心為無監(jiān)督學(xué)習(xí)中的聚類分析，通過計算文本相似度進行劃分。本文中分類與聚類概念等同，文本相似度代表關(guān)鍵詞向量的相似度。
　　本文的研究工作主要包括四個方面:
　　1)數(shù)據(jù)的自動化獲取。由于萬方數(shù)據(jù)庫實時更新，且格式統(tǒng)一，本文采用聚焦網(wǎng)絡(luò)爬蟲對數(shù)據(jù)進行實時的

3、自動化爬取。主要解決的是網(wǎng)站限制訪問以及cookie二次訪問的問題，保持無須人工干涉的持續(xù)數(shù)據(jù)獲取。
　　2)數(shù)據(jù)的預(yù)處理工作。本文的文本數(shù)據(jù)使用向量空間模型，且原始數(shù)據(jù)量以及數(shù)據(jù)維度都在十萬量級，故數(shù)據(jù)預(yù)處理工作的核心是對高維稀疏數(shù)據(jù)的降維處理。本文采用了特征抽取和特征選擇實現(xiàn)數(shù)據(jù)的降維工作。特征選擇引入論文標題字段數(shù)據(jù)，從機器學(xué)習(xí)與統(tǒng)計分析的角度，提出了結(jié)合CRF分詞與全局TF-IDF技術(shù)的特征選擇方法;特征抽取則在特征選擇的

4、基礎(chǔ)上采用基于主題模型的LDA方法繼續(xù)降維，共同完成特征空間的重定義。
　　3)基于模糊聚類與狄利克雷過程的混合聚類算法研究。結(jié)合專家數(shù)據(jù)的實際情況，傳統(tǒng)硬聚類方法無法實現(xiàn)一個專家有多個研究方向的問題。根據(jù)此情況本文提出了可將一條數(shù)據(jù)分到多個類的模糊聚類方法，同時在預(yù)處理時對專家數(shù)據(jù)進行預(yù)分類工作。該方法結(jié)合模糊聚類與狄利克雷過程的FCM-DP混合聚類方法，進行分層次聚類。不僅提高了數(shù)據(jù)處理的準確率，還能夠更好地確定聚類主題。同時

5、，通過數(shù)據(jù)后處理對結(jié)果進行優(yōu)化。
　　4)實驗的結(jié)果評估與方法驗證。本文的實驗部分完成了對2）、3）中的研究工作的設(shè)計與實現(xiàn)，并通過相關(guān)評估參數(shù)對實驗結(jié)果進行評估驗證，對比分析了本文提出的特征選擇、特征抽取以及FCM-DP混合聚類方法與其它經(jīng)典方法的相關(guān)實驗結(jié)果。同時結(jié)合LDA算法與專家地域關(guān)系信息完成了專家主題網(wǎng)絡(luò)的構(gòu)建。
　　本文通過聚焦爬蟲從網(wǎng)頁上獲取專家信息，提出了結(jié)合CRF分詞與全局TF-IDF的特征選擇、基于主題