公開(kāi)信息搜集方法研究與實(shí)現(xiàn).pdf

1、因特網(wǎng)是一個(gè)基于TCP/IP協(xié)議連接各國(guó)、各機(jī)構(gòu)成千上萬(wàn)計(jì)算機(jī)網(wǎng)絡(luò)的通信網(wǎng)，集各種信息資源于一體，海量的信息源令傳統(tǒng)載體望塵莫及。由于政府、機(jī)構(gòu)、企業(yè)和個(gè)人都可以在網(wǎng)上發(fā)布信息，因此它成為無(wú)所不有的龐雜信息源。目前，在因特網(wǎng)上僅數(shù)據(jù)庫(kù)就有上百萬(wàn)種，其他信息更是難以計(jì)數(shù)，這些資源在數(shù)量和增長(zhǎng)速度上是其他任何環(huán)境下的信息資源所無(wú)法比擬的。隨著計(jì)算機(jī)技術(shù)的發(fā)展和因特網(wǎng)的普及，Web數(shù)據(jù)變得越來(lái)越重要。在公開(kāi)信息搜集領(lǐng)域，因特網(wǎng)正成為一個(gè)新的公

2、開(kāi)信息搜集對(duì)象，但由于因特網(wǎng)數(shù)據(jù)及應(yīng)用的特殊性，使得傳統(tǒng)的公開(kāi)信息搜集方法不能直接應(yīng)用于這個(gè)新對(duì)象，而以數(shù)據(jù)挖掘?yàn)榛A(chǔ)發(fā)展起來(lái)的Web挖掘是解決此矛盾的一種新方法，將其引入到公開(kāi)信息的搜集中正是本文研究的目的和意義所在。
　　論文分析和總結(jié)了因特網(wǎng)信息的特點(diǎn)及當(dāng)前常用的公開(kāi)信息搜集方法，在此基礎(chǔ)上，通過(guò)對(duì)Web內(nèi)容挖掘、使用挖掘、結(jié)構(gòu)挖掘方法及其在公開(kāi)信息搜集中的應(yīng)用研究，充分證明了Web挖掘方法可以有效地提高公開(kāi)信息搜集的質(zhì)量和

3、效率。首先，在Web內(nèi)容挖掘中，針對(duì)Web文本的特征，對(duì)其挖掘流程進(jìn)行了詳細(xì)的闡述，研究了文本挖掘過(guò)程中的特征提取算法，重點(diǎn)分析了傳統(tǒng)TFIDF算法，指出了傳統(tǒng)TFIDF算法沒(méi)有考慮詞條在文本內(nèi)分布情況的不足，并在此基礎(chǔ)上提出了加權(quán)TFIDF改進(jìn)算法，通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)后的算法可以有效地提高文本的查準(zhǔn)率和查全率；在Web使用挖掘中，論文研究了Web使用挖掘的預(yù)處理過(guò)程，以實(shí)驗(yàn)驗(yàn)證了其有效性，并在經(jīng)過(guò)預(yù)處理的日志數(shù)據(jù)之上通過(guò)實(shí)驗(yàn)使用類Ap