面向web文本挖掘的主題搜索技術(shù)研究.pdf

1、隨著因特網(wǎng)的快速發(fā)展，海量的Web數(shù)據(jù)資源已經(jīng)成為人們獲取知識(shí)與信息的重要來(lái)源。由于Web資源具有半結(jié)構(gòu)性、離散性、實(shí)時(shí)性和異構(gòu)性等特點(diǎn)，用戶很難快速準(zhǔn)確地從Web上獲取真正有價(jià)值的信息。獲取Web信息的主要方法是使用搜索引擎，而現(xiàn)在流行的通用搜索引擎不能很好的提供信息結(jié)構(gòu)抽取、Web文本內(nèi)容的分類、過(guò)濾以及文檔理解方面的功能。因此，如何設(shè)計(jì)搜索引擎技術(shù)，使之更適應(yīng)的對(duì)Web資源進(jìn)行高效的挖掘就成為了研究熱點(diǎn)。 本論文的研究?jī)?nèi)容

2、是面向Web文本挖掘的主題搜索引擎研究與系統(tǒng)設(shè)計(jì)。重點(diǎn)討論了當(dāng)前流行的Web挖掘以及搜索引擎的核心技術(shù)，并且設(shè)計(jì)和實(shí)現(xiàn)主題Web信息挖掘和搜索原型系統(tǒng)Label3。本文的主要工作研究如下： 主題爬蟲(chóng)技術(shù)：改進(jìn)了以往的爬蟲(chóng)策略，提出了基于非貪婪遺傳算法的網(wǎng)絡(luò)爬蟲(chóng)搜索策略，對(duì)各個(gè)算法進(jìn)行數(shù)據(jù)分析和性能比較。 語(yǔ)言過(guò)濾分詞、中文字詞切分算法：考慮到拉丁語(yǔ)言與中文語(yǔ)言的差異，本文討論了各自的語(yǔ)言分詞算法，特別針對(duì)中文語(yǔ)言的特殊性