基于XML和SVM的Web文本挖掘系統(tǒng)研究.pdf

1、在數(shù)據(jù)集商業(yè)智能分析廣泛使用飛速增長的環(huán)境下,傳統(tǒng)的數(shù)據(jù)倉庫解決方案變得笨重和昂貴。得益于谷歌的開放算法,Hadoop成為一個(gè)流行的開源MapReduce實(shí)現(xiàn)。如雅虎,臉譜,Rackspace公司都在用其來存儲(chǔ)和處理大量的商業(yè)數(shù)據(jù)集。但是MapReduce編程模型仍然是在一個(gè)很低的水平,需要開發(fā)者編寫客戶端應(yīng)用程序。
　　論文提出了Web文本挖掘技術(shù)以及基于Hadoop的數(shù)據(jù)倉庫解決優(yōu)化的方法Zoot,以解決這個(gè)困難。論文依照We

2、b文本挖掘的過程對Web文本挖掘進(jìn)行了詳細(xì)的研究,構(gòu)建了一個(gè)基于可擴(kuò)展標(biāo)記語言(XML)和支持向量機(jī)(SVM)的Web文本挖掘模型。論文著重對Web文本預(yù)處理的過程和方法進(jìn)行研究,論文提出用XML技術(shù)將Web頁面上的信息進(jìn)行結(jié)構(gòu)化,進(jìn)而再將這些Web文本表示成計(jì)算機(jī)能夠處理的形式,提取出對文本挖掘有用的信息,縮減數(shù)據(jù)量,形成一個(gè)文本特征庫來做為Web文本挖掘的基礎(chǔ)。Web文本預(yù)處理的結(jié)果對Web文本挖掘的質(zhì)量和效率有著很重要的影響,因此

3、,Web文本預(yù)處理階段是至關(guān)重要的,需要進(jìn)行詳細(xì)而完善的研究。論文還構(gòu)建了一個(gè)Web文本挖掘模型,這個(gè)基于XML和SVM的Web文本挖掘的模型主要包含了Web文本預(yù)處理和Web文本挖掘的功能,它的優(yōu)點(diǎn)在于它利用權(quán)威頁面的確定、XML技術(shù)以及特征提取逐步地縮小了數(shù)據(jù)量,同時(shí)得到了能夠準(zhǔn)確表達(dá)文本內(nèi)容的特征詞條集合,用支持向量機(jī)的方法降低高維數(shù)據(jù)的維數(shù),使文本挖掘處理的數(shù)據(jù)更加精煉。Zoot支持類似于SQL查詢語言語句:HiveQL,此查詢