基于XML的Web文本數(shù)據(jù)挖掘的研究.pdf

1、自從Internet誕生以來,互聯(lián)網(wǎng)上的信息正以指數(shù)形式飛速增長。如何在WWW這個全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)用戶的有用信息已成為數(shù)據(jù)挖掘研究的熱點(diǎn),Web數(shù)據(jù)挖掘也因此而產(chǎn)生。Web是一個巨大的、廣泛分布的、高度異構(gòu)的、半結(jié)構(gòu)化的、超文本、超媒體的、相互聯(lián)系并且不斷進(jìn)化的信息倉庫;是一個巨大的文檔積累的集合,包括了豐富、動態(tài)的超鏈接信息以及Web頁面的訪問和使用信息。由于現(xiàn)行的網(wǎng)絡(luò)環(huán)境以HTML語言為基礎(chǔ)構(gòu)建,它是一種只能描述形式而不能揭

2、示內(nèi)容的語言,因此,Web上的半結(jié)構(gòu)化數(shù)據(jù)和異構(gòu)數(shù)據(jù)源問題給Web數(shù)據(jù)挖掘帶來了困難。W3C開發(fā)的XML(eXtensibleMarkup Language)可擴(kuò)展標(biāo)記語言,支持豐富的數(shù)據(jù)結(jié)構(gòu),特別強(qiáng)調(diào)數(shù)據(jù)語義與元素之間的關(guān)系,因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點(diǎn),為Web數(shù)據(jù)挖掘帶來了新的契機(jī)。
　　本文對基于XML的Web文本數(shù)據(jù)挖掘過程中作了深入的研究,在介紹了數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、XML技術(shù)等相關(guān)理論

3、知識的基礎(chǔ)上,首先詳細(xì)闡述了Web數(shù)據(jù)挖掘中HITS算法的原理,分析了該算法的一些主要問題,給出了一種改進(jìn)算法,在一定程度上有效的改進(jìn)了HITS算法的最主要問題“主題漂移”問題;然后把XML與Web數(shù)據(jù)挖掘兩項技術(shù)相結(jié)合進(jìn)行研究,提出了一個基于XML的Web文本數(shù)據(jù)文本挖掘系統(tǒng)模型。
　　由于Web文本預(yù)處理的結(jié)果對Web文本數(shù)據(jù)挖掘的質(zhì)量和效率有著很重要的影響,因此Web文本預(yù)處理階段是至關(guān)重要的,需要進(jìn)行詳細(xì)而完善的研究。本文

4、從Web文本預(yù)處理的過程和方法進(jìn)行了深入的研究,提出用樹形結(jié)構(gòu)將HTML轉(zhuǎn)換為XML的算法,有效的簡化了XML的抽取過程,將Web頁面上的信息進(jìn)行結(jié)構(gòu)化,進(jìn)而再將這些Web文本表示成計算機(jī)能夠處理的形式,提取出對文本挖掘有用的信息,縮減數(shù)據(jù)量,從而實現(xiàn)Web文本數(shù)據(jù)的分類,并為Web文本數(shù)據(jù)挖掘打下了堅實的基礎(chǔ)。
　　本文提出的基于XML的Web文本挖掘模型主要包含了Web文本預(yù)處理和Web文本數(shù)據(jù)挖掘的功能,然后通過利用XML的