基于本體的主題網(wǎng)絡蜘蛛研究.pdf

1、隨著網(wǎng)絡技術及信息技術的迅猛發(fā)展，搜索引擎已成為人們獲取信息的主要手段。然而傳統(tǒng)搜索引擎的查全率及查準率不高，搜索效率低下，越來越不能滿足人們的需要。因此，針對特定領域的垂直搜索引擎逐漸成為發(fā)展趨勢，它能更快速、準確的定位信息，提供更個性化、更專業(yè)的搜索服務。
　　 主題網(wǎng)絡蜘蛛是垂直搜索引擎的關鍵組成部分，直接決定了垂直搜索引擎的質(zhì)量。它能自動對URL進行主題識別，提取網(wǎng)頁鏈接，下載相應的信息。目前的主題網(wǎng)絡蜘蛛大多采用傳統(tǒng)的

2、關鍵詞匹配模式，無法識別關鍵詞的一詞多義或者一義多詞的情況，也無法從語義的層面來智能的識別搜索意圖并對網(wǎng)頁進行智能分類。
　　 本體可以解決語義異構(gòu)的問題，促進知識共享，實現(xiàn)概念上的互操作。本體論為語義搜索提供了可共享、概念化的知識體系，是語義搜索中實現(xiàn)知識理解和推理的基礎。因此將本體論與主題網(wǎng)絡蜘蛛結(jié)合，可以提高網(wǎng)絡信息服務的智能化與自動化，為語義檢索中實現(xiàn)知識理解和推理提供基礎，為用戶共享知識提供便利。
　　 本文從

3、研究與設計的角度出發(fā)，以本體和垂直搜索引擎的理論為基礎，分析了主題網(wǎng)絡蜘蛛的研究現(xiàn)狀、不足之處、組成結(jié)構(gòu)和工作原理，設計了基于本體的主題網(wǎng)絡蜘蛛系統(tǒng)，該系統(tǒng)能夠?qū)τ脩舻恼嬲鈭D進行識別，為用戶提供更規(guī)范及詳細的結(jié)果輸出。隨后，本文介紹了該系統(tǒng)的開發(fā)環(huán)境、基本框架及各模塊的功能，包括頁面抓取模塊、頁面分析模塊、主題相關性分析模塊及排序模塊，并對各重要模塊的算法流程進行了詳細說明。另外，本文設計并實現(xiàn)了電子商務領域本體，主要分析了電子商務領