基于XML的Web內(nèi)容挖掘技術(shù)研究.pdf

1、自從Internet誕生以來，互聯(lián)網(wǎng)上的信息正以指數(shù)形式飛速增長。如何在WWW這個(gè)全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)用戶的有用信息己成為數(shù)據(jù)挖掘研究的熱點(diǎn)，Web數(shù)據(jù)挖掘也由此應(yīng)運(yùn)而生。 Web是一個(gè)巨大的、廣泛分布的、高度異構(gòu)的、半結(jié)構(gòu)化的、超文本、超媒體的、相互聯(lián)系并且不斷進(jìn)化的信息倉庫；是一個(gè)巨大的文檔積累的集合，包括了豐富、動(dòng)態(tài)的超鏈接信息以及Web頁面的訪問和使用信息。由于現(xiàn)行的網(wǎng)絡(luò)環(huán)境以HTML語言為基礎(chǔ)構(gòu)建，它是一種只能描述

2、形式而不能揭示內(nèi)容的語言，因此，Web上的半結(jié)構(gòu)化數(shù)據(jù)和異構(gòu)數(shù)據(jù)源問題給Web數(shù)據(jù)挖掘帶來了困難。W3C開發(fā)的XML(eXtensibleMarkupLanguage)可擴(kuò)展標(biāo)記語言，支持豐富的數(shù)據(jù)結(jié)構(gòu)，特別強(qiáng)調(diào)數(shù)據(jù)語義與元素之間的關(guān)系，因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點(diǎn)，為Web數(shù)據(jù)挖掘帶來了新的契機(jī)。 首先，本文詳細(xì)闡述了基于XML語言的Web數(shù)據(jù)挖掘技術(shù)。通過介紹Web數(shù)據(jù)挖掘和XML的基本知識(shí)，分析了

3、XML語言在Web數(shù)據(jù)挖掘中的優(yōu)勢，在理論上提出了設(shè)計(jì)思想、建立了系統(tǒng)模型。 其次，本文通過三種途徑建立用戶模型，將XML和個(gè)性化技術(shù)應(yīng)用到Web內(nèi)容挖掘，設(shè)計(jì)了一個(gè)基于XML的Web內(nèi)容挖掘系統(tǒng)(WCMS)，討論了WCMS的關(guān)鍵技術(shù)及實(shí)現(xiàn)，并進(jìn)行了科技文獻(xiàn)分類查詢的系統(tǒng)應(yīng)用。WCMS主要包含了Web文本預(yù)處理和Web文本挖掘兩個(gè)功能，利用權(quán)威頁面確定、XML以及特征提取等技術(shù)逐步地縮小數(shù)據(jù)量并得到能夠準(zhǔn)確表達(dá)文本內(nèi)容的特征詞條

4、集合，用支持向量機(jī)的方法降低高維數(shù)據(jù)的維數(shù)，使文本挖掘處理的數(shù)據(jù)更加精煉。本文重點(diǎn)研究WCMS系統(tǒng)的Web文本預(yù)處理過程和方法。提出用XML技術(shù)將Web頁面上的信息進(jìn)行結(jié)構(gòu)化，進(jìn)而再將這些Web文本表示成計(jì)算機(jī)能夠處理的形式，提取出對(duì)文本挖掘有用的信息，縮減數(shù)據(jù)量，形成一個(gè)文本特征庫來做為Web文本挖掘的基礎(chǔ)。Web文本預(yù)處理的結(jié)果對(duì)Web文本挖掘的質(zhì)量和效率有著很重要的影響。因此，Web文本預(yù)處理階段是至關(guān)重要的，需要進(jìn)行詳細(xì)而完善的