基于語義分析的主題信息采集技術(shù)的研究.pdf

1、現(xiàn)今隨著Web信息指數(shù)化的增長，傳統(tǒng)的基于整個Web的信息采集技術(shù)由于其采集的主題范圍過于廣泛，導(dǎo)致無法保證對信息的及時更新，并且較少考慮采集信息是否與查詢主題相關(guān)，已經(jīng)滿足不了人們對個性化信息檢索服務(wù)日益增長的需求。面向主題的信息采集技術(shù)由于其采集信息的內(nèi)容只限于特定主題或?qū)ｉT領(lǐng)域，在搜索過程中無須對整個Web進(jìn)行遍歷，只需選擇與主題相關(guān)的頁面進(jìn)行訪問，基本回避了傳統(tǒng)信息采集系統(tǒng)信息指數(shù)膨脹的危機(jī)，成為近年的研究熱點(diǎn)。 本文對

2、國內(nèi)外基于主題的信息采集領(lǐng)域的發(fā)展?fàn)顩r進(jìn)行了詳細(xì)的研究，分析了信息采集的工作原理，針對傳統(tǒng)通用信息采集自身固有的缺陷，根據(jù)主題頁面在Web上的分布特征，結(jié)合本體的相關(guān)理論及語義分析相關(guān)知識，在對鏈接、頁面與主題相關(guān)性判定技術(shù)的深入研究基礎(chǔ)上，提出了一種基于語義分析的主題信息采集的相關(guān)模型，該模型以本體構(gòu)建領(lǐng)域知識概念集，結(jié)合語義計算，預(yù)測與主題相關(guān)的URL并對采集的頁面進(jìn)行進(jìn)一步的過濾，同時結(jié)合現(xiàn)有開源技術(shù)對該功能模型進(jìn)行了詳細(xì)的設(shè)計與

3、實(shí)現(xiàn)。 語義分析是本文的重點(diǎn)，它是預(yù)測URL鏈接，采集主題相關(guān)頁面，過濾無關(guān)頁面的核心技術(shù)。本文在對“知網(wǎng)”進(jìn)行詳細(xì)研究的基礎(chǔ)上，分析計算詞語之間的相關(guān)度及相似度，并著重介紹了利用知網(wǎng)進(jìn)行多義詞詞義消岐，獲取鏈接擴(kuò)展元數(shù)據(jù)、主題及頁面內(nèi)容的義項(xiàng)集及義原集的相關(guān)算法。 本文利用詞匯的語義計算，從語義和概念層對文本及鏈接進(jìn)行主題相關(guān)性分析，將基于內(nèi)容評價的搜索策略和基于Web鏈接結(jié)構(gòu)的搜索策略相結(jié)合，在對傳統(tǒng)Page Ran