基于Hadoop的Web文本挖掘的關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展,數(shù)據(jù)的產(chǎn)生和存儲(chǔ)達(dá)到了空前繁榮的階段,與此同時(shí),如何從海量的數(shù)據(jù)中提取潛在的有用信息,給傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)帶來了嚴(yán)峻的考驗(yàn),基于云計(jì)算的數(shù)據(jù)挖掘的方法也應(yīng)運(yùn)而生。
　　 Hadoop是云計(jì)算技術(shù)的一個(gè)開源平臺(tái),其核心技術(shù)主要是Hadoop分布式文件系統(tǒng)(HDFS)和MapReduce編程模型,其中,HDFS存儲(chǔ)文件,MapReduce編程模型實(shí)現(xiàn)并行計(jì)算。由于利用Hadoop框架可以方便、快速地實(shí)現(xiàn)計(jì)算機(jī)

2、集群,能夠處理大型數(shù)據(jù)集,因此,將傳統(tǒng)的數(shù)據(jù)挖掘方法部署到Hadoop平臺(tái)具有實(shí)際的研究意義,實(shí)現(xiàn)這一技術(shù)的關(guān)鍵就是要對(duì)傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的并行化。
　　 目前為止,基于Hadoop的數(shù)據(jù)挖掘技術(shù)在某些方面已經(jīng)取得了一定的研究成果,但是該領(lǐng)域的研究還有待進(jìn)一步推廣。本文以云計(jì)算技術(shù)及數(shù)據(jù)挖掘技術(shù)為理論基礎(chǔ),研究了文本預(yù)處理算法并對(duì)其進(jìn)行改進(jìn),支持向量機(jī)算法并對(duì)其改進(jìn)以及并行支持向量機(jī)算法的實(shí)現(xiàn)。論文主要研究內(nèi)容及成果如下:

3、　　 1、Hadoop分布式平臺(tái)及Web挖掘理論。本文對(duì)Hadoop兩大核心技術(shù)即HDFS和MapReduce編程框架進(jìn)行了深入的研究,并詳細(xì)介紹了Web挖掘的相關(guān)理論及挖掘算法。
　　 2、Web文本預(yù)處理。本文從文本預(yù)處理的流程出發(fā),研究了預(yù)處理過程的具體步驟及其相關(guān)算法。由于在傳統(tǒng)的特征項(xiàng)表示模型中,沒有充分考慮權(quán)值較小特征項(xiàng)的影響,因此,本文提出了改進(jìn)的特征項(xiàng)表示模型。在該模型中,首先求得所有特征向量的平均值,再對(duì)其進(jìn)

4、行標(biāo)準(zhǔn)化,使得所有的特征項(xiàng)在同一起點(diǎn)上對(duì)文本分類起作用。最后通過實(shí)驗(yàn)驗(yàn)證了改進(jìn)特征項(xiàng)表示模型的優(yōu)越性。
　　 3、改進(jìn)的支持向量機(jī)算法及其并行實(shí)現(xiàn)。在該部分,首先詳細(xì)研究了支持向量機(jī)算法,并針對(duì)現(xiàn)有算法存在的問題,提出了改進(jìn)的支持向量機(jī)算法,即通過改變核函數(shù),從而提高算法的學(xué)習(xí)泛化能力,使得分類器分類效果更好,同時(shí),考慮到分類器的分類時(shí)間問題,本文利用相應(yīng)的并行策略實(shí)現(xiàn)支持向量機(jī)的并行算法,并將其部署到Hadoop分布式平臺(tái),最