主題搜索引擎中相關(guān)技術(shù)的研究與實(shí)現(xiàn).pdf

1、近幾年來，搜索引擎的出現(xiàn)從根本上改變了人類獲取信息的方式，為人類的生活、學(xué)習(xí)乃至工作都帶來了極大的便利。當(dāng)人們?cè)絹碓揭蕾噷⑺阉饕孀鳛闄z索信息的工具時(shí)，卻發(fā)現(xiàn)查詢結(jié)果往往不盡人意。搜索引擎的發(fā)展出現(xiàn)了瓶頸時(shí)期，如何能快速、精確的為用戶提供滿意的服務(wù)，是搜索引擎前進(jìn)的目標(biāo)。而面向主題的搜索引擎開始成為搜索引擎的新的發(fā)展方向。本文的重點(diǎn)是對(duì)主題搜索引擎中的相關(guān)技術(shù)進(jìn)行研究，努力提高搜索質(zhì)量。
　　 本文開篇先對(duì)搜索引擎的發(fā)展歷史、分

2、類和趨勢(shì)進(jìn)行了簡單描述。然后分別對(duì)通用搜索引擎和主題搜索引擎的組織框架、工作流程做了詳細(xì)介紹，并指出了通用搜索引擎中存在的不足。接著，文章圍繞主題搜索引擎中的關(guān)鍵技術(shù)這一主線，對(duì)主題蜘蛛中的網(wǎng)頁采集技術(shù)、搜索策略，文本分類中的文本預(yù)處理技術(shù)、特征提取技術(shù)和文本分類技術(shù)進(jìn)行了詳細(xì)研究。
　　 由于在主題蜘蛛中，在采集信息時(shí)要對(duì)文本的主題相關(guān)度進(jìn)行判斷，其中也涉及文本分類的相關(guān)技術(shù)，因此文本分類技術(shù)是本文的研究重點(diǎn)。文本分類技術(shù)包括

3、：網(wǎng)頁凈化、中文分詞、特征提取和分類算法。本文重點(diǎn)研究了文本分類中的特征提取技術(shù)，在常用的特征提取方法的研究基礎(chǔ)上進(jìn)行了改進(jìn)，結(jié)合中文語法規(guī)范，提出了一種詞與詞組的綜合特征提取算法。改進(jìn)后的算法考慮了語義之間的聯(lián)系，相對(duì)彌補(bǔ)了現(xiàn)有方法的不足，并用實(shí)驗(yàn)驗(yàn)證了該方法的可行性。
　　 通過對(duì)文本分類技術(shù)各方面的研究，本文設(shè)計(jì)實(shí)現(xiàn)出了一個(gè)完整的分類系統(tǒng)，并選用了中科院計(jì)算所研制出的漢語詞法分析系統(tǒng)——ICTCLAS分詞系統(tǒng)。首先通過對(duì)訓(xùn)