基于大數(shù)據(jù)處理技術(shù)的“專家機(jī)器人”研究.pdf

1、現(xiàn)如今互聯(lián)網(wǎng)上的學(xué)術(shù)論文、期刊文獻(xiàn)、專利數(shù)據(jù)庫、網(wǎng)絡(luò)媒體、社交平臺(tái)（微信、微博、博客、論壇）等載體上蘊(yùn)藏著多個(gè)領(lǐng)域的潛藏知識(shí)，文中將這些載體涉及的專業(yè)領(lǐng)域稱之為“專家領(lǐng)域”。“專家領(lǐng)域”中蘊(yùn)藏著如：專家研究成果、學(xué)術(shù)觀點(diǎn)、工作動(dòng)態(tài)及最新言論等“專家數(shù)據(jù)”。如果合理的組織、運(yùn)用這些“專家數(shù)據(jù)”，將得到遠(yuǎn)高于數(shù)據(jù)本身的更有價(jià)值的資源。“專家機(jī)器人”的研究就是對(duì)這些專家數(shù)據(jù)資源的分析、挖掘的過程。通過對(duì)專家機(jī)器人的研究來深入提取、解析海量數(shù)據(jù)

2、中蘊(yùn)藏的有用信息，并將其轉(zhuǎn)換為可理解，可用的知識(shí)資源。本文是基于大數(shù)據(jù)的專家機(jī)器人研究，實(shí)際上是大數(shù)據(jù)研究在專家領(lǐng)域的一個(gè)縮影，本文是分別從數(shù)據(jù)處理速度、數(shù)據(jù)關(guān)聯(lián)挖掘、數(shù)據(jù)應(yīng)用質(zhì)量三方面，對(duì)互聯(lián)網(wǎng)中涌現(xiàn)的專家數(shù)據(jù)進(jìn)行的研究。
　　本文具體研究工作包括以下幾個(gè)方面：
　　第一，詳細(xì)分析了Hadoop平臺(tái),并重點(diǎn)介紹了MapReduce分布式編程模型以及HDFS分布式文件系統(tǒng)。同時(shí)詳細(xì)描述了全文搜索引擎的工作原理及索引構(gòu)建流程，

3、由于目前專家數(shù)據(jù)的激增，以及單機(jī)構(gòu)建索引在效率和安全上的不足，提出了基于MapReduce的并行索引構(gòu)建思想。
　　第二，描述了基于網(wǎng)頁的評(píng)分算法PageRank算法的工作原理，及其通過冪法迭代求解PR值的過程。為提高“專家領(lǐng)域”的學(xué)術(shù)索引結(jié)果質(zhì)量，本文提出適用于“專家領(lǐng)域”的E-PeopleRank評(píng)分算法，目的是通過對(duì)專家打分排名，衡量各領(lǐng)域?qū)＜以跈z索結(jié)果中占的比重。E-PeopleRank算法改進(jìn)了原算法主題無關(guān)性缺點(diǎn)，并更

4、換了原算法模型的映射關(guān)系。考慮迭代中數(shù)據(jù)增長情況，本文將E-PeopleRank算法引入到MapReduce的編程架構(gòu)中，并詳細(xì)描述了各階段的具體任務(wù)分配。
　　第三，為了實(shí)現(xiàn)用戶的個(gè)性化搜索，文中詳細(xì)描述了協(xié)同過濾算法的具體原理及算法模型。為解決協(xié)同過濾算法中未考慮時(shí)間變化因素的問題，提出了適用于用戶興趣變化的協(xié)同過濾推薦算法，文中引入了興趣偏移函數(shù)，對(duì)協(xié)同過濾算法的推薦模型進(jìn)行了改進(jìn)，隨后詳細(xì)描述了算法改進(jìn)的具體過程。