主題搜索引擎信息抽取技術(shù)研究.pdf

1、網(wǎng)絡(luò)與信息技術(shù)的飛速發(fā)展使得互聯(lián)網(wǎng)成為全球信息傳播與共享的重要資源平臺。互聯(lián)網(wǎng)中信息量的幾何級數(shù)增長，使得從Web上獲取有用信息的難度變得越來越大?！靶畔⑦^載”已經(jīng)成為一個急待解決的問題。人們迫切需要一種可以像查詢數(shù)據(jù)庫一樣查詢Web上的數(shù)據(jù)的精確查詢方法。因此，如何有效地組織和分析海量的Web信息資源，從中抽取出有用的信息成為眾多研究工作希望解決的問題。近年來產(chǎn)生了主題搜索引擎，它是面向?qū)I(yè)或主題的搜索引擎，只采集與用戶需求相關(guān)的信息

2、，幫助其迅速地獲取其所需要的知識和信息，這就需要從Web資源庫中抽取出特定的主題相關(guān)信息。目前，在主題搜索引擎所涉及的各項關(guān)鍵技術(shù)中，結(jié)構(gòu)化信息抽取技術(shù)是其不同于通用搜索引擎的關(guān)鍵點。在以往的信息抽取技術(shù)中，多是對整個網(wǎng)頁進行結(jié)構(gòu)化信息抽取并生成包裝器，由此生成的包裝器在信息抽取中準確率不高。由于網(wǎng)頁中的“非主題”信息參與了信息抽取的過程，可能會對抽取結(jié)果產(chǎn)生干擾，這樣會影響最終包裝器抽取同類網(wǎng)頁的準確率。提高信息抽取的效率和準確率可以

3、較大程度地提高主題搜索引擎的適應(yīng)性，并且為用戶提供高效而且準確的搜索結(jié)果。
　　 本文針對網(wǎng)頁中結(jié)構(gòu)化信息的抽取技術(shù)進行研究，通過有效可靠的方法來改進和提高信息抽取環(huán)節(jié)的性能和效率，并盡可能實現(xiàn)自動化信息抽取過程，以此避免人工的過度干預；力求能充分有效的利用各種資源，合理構(gòu)建信息獲取系統(tǒng)的體系結(jié)構(gòu)。主要研究內(nèi)容包括：⑴研究Web網(wǎng)頁的批量獲取方法。為了獲取主題搜索引擎所需要的專業(yè)領(lǐng)域信息，就必須要從internet中抓取相關(guān)頁面

4、作為原始資料。本文研究了Web頁面抓取所需要的相關(guān)技術(shù)及抓取子模塊的結(jié)構(gòu)，并實現(xiàn)了一個簡單的Web網(wǎng)頁批量抓取器。⑵研究Web網(wǎng)頁的去噪方法。由于噪音的存在，嚴重影響到頁面主題內(nèi)容的識別，從而影響到最終搜索結(jié)果的質(zhì)量和效率。因此清除網(wǎng)頁中的噪音內(nèi)容成為提高搜索引擎精度的重要保證和前提。本文對原有各類網(wǎng)頁分塊去噪模型的優(yōu)缺點進行分析，將統(tǒng)計方法融入基于DOM的網(wǎng)頁分塊模型中，以此提升去噪效果和效率。⑶研究中文文本的向量表示模型和特征向量的

5、提取方法。文本特征表示的優(yōu)劣直接影響到特征屬性的提取，從而影響到后期的文本分類。從以往研究結(jié)果來看，向量空間模型的文本特征表示模型中特征詞數(shù)量的多少與分類算法的效率有著密切關(guān)系，本文研究了特征詞的提取方法，分析了基于空間向量模型的幾種流行特征提取算法，然后深入研究了CHI算法并對其加以改進，以提高算法的性能和效果，更好的進行后期的文本分類處理。⑷研究Web網(wǎng)頁文本的分類方法。由于Web網(wǎng)頁的數(shù)量龐大、缺乏可靠的標簽信息等特點，對其加以有

6、效利用就必須首先進行自動分類以獲取較為可靠的類目標簽信息，才能分門別類的進行后續(xù)處理。本文在經(jīng)典樸素貝葉斯算法的基礎(chǔ)上進行算法改進和系數(shù)調(diào)整，并在考慮到Web文本數(shù)據(jù)的特有的半結(jié)構(gòu)化特點的基礎(chǔ)上，在分類過程中提取并利用Web文本的結(jié)構(gòu)信息，以此來加強分類效果，進一步減少分類誤差。
　　 本文最后對Web網(wǎng)頁文本的分類方法進行了對比實驗，實驗結(jié)果表明，文中提出的算法能夠有效的提高分類精度，降低運算時間，適用于主題搜索引擎的信息提取