基于RSS和本體語(yǔ)義適配的自治主題頁(yè)面采集.pdf

1、搜索引擎是伴隨著互聯(lián)網(wǎng)信息擴(kuò)展?fàn)I運(yùn)而生的,其任務(wù)是幫助網(wǎng)民在海量信息中去粗存精,快速找到自己所需的信息。調(diào)查表明,2006年搜索引擎已成為僅次于電子郵件,位居第二的互聯(lián)網(wǎng)業(yè)務(wù)。通用搜索引擎在滿(mǎn)足海量搜索信息的同時(shí)卻難以兼顧搜索準(zhǔn)確度與相關(guān)度質(zhì)量,很難滿(mǎn)足追求精準(zhǔn)的個(gè)性化、專(zhuān)業(yè)化搜索需求。 垂直搜索(Vertical Search)是針對(duì)某一個(gè)行業(yè)的專(zhuān)業(yè)搜索引擎,是搜索引擎的細(xì)分和延伸,是對(duì)網(wǎng)頁(yè)庫(kù)中的某類(lèi)專(zhuān)門(mén)的信息進(jìn)行一次整合,定

2、向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種形式返回給用戶(hù)。垂直搜索引擎是面向特定領(lǐng)域和主題信息檢索的工具,面向主題的頁(yè)面采集是其基礎(chǔ)工作。本文針對(duì)其核心和基礎(chǔ)性工作-主題頁(yè)面采集進(jìn)行了分析和研究,主要的工作有并重點(diǎn)從以下幾方面進(jìn)行： 1、在DOM解析的基礎(chǔ)上,提出了改進(jìn)型的HPath頁(yè)面抽取技術(shù)；針對(duì)DOM解析器異構(gòu)現(xiàn)象,運(yùn)用HPath基礎(chǔ)解決不同解析器的集成應(yīng)用難題,為商用化的主題頁(yè)面采集與垂直搜索引擎研究奠定了理論和技術(shù)基礎(chǔ)

3、。 2、面向新興的Web2.0網(wǎng)絡(luò),提出基于Web2.0基礎(chǔ)的高精度主題頁(yè)面采集方案,并通過(guò)XPath解決RSS標(biāo)準(zhǔn)不統(tǒng)一問(wèn)題。 3、在主題頁(yè)面采集的后期處理上,提出用本體語(yǔ)義適配來(lái)解決來(lái)自各種不同系統(tǒng)的主題語(yǔ)義異構(gòu)問(wèn)題,采用語(yǔ)義距離算法對(duì)頁(yè)面主題進(jìn)行歸納和分類(lèi)。 4、為了提高采集系統(tǒng)的實(shí)用性和可維護(hù)性,本文嘗試采用IBM自治計(jì)算框架,結(jié)合改進(jìn)主動(dòng)數(shù)據(jù)倉(cāng)庫(kù)ECA規(guī)則,提出了具有一定自治能力的主題頁(yè)面采集系統(tǒng)設(shè)計(jì)。