面向搜索引擎評(píng)測(cè)的Web信息抽取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet信息量的迅速增長(zhǎng),Web已經(jīng)逐漸成為人們獲取信息的主要平臺(tái)。各大搜索引擎應(yīng)運(yùn)而生,競(jìng)爭(zhēng)激烈。評(píng)價(jià)引擎的好壞,不僅要看搜索結(jié)果,還要依靠用戶體驗(yàn)。用戶體驗(yàn)必然能為引擎帶來(lái)流量,所以針對(duì)搜索引擎進(jìn)行用戶滿意度的評(píng)測(cè)已經(jīng)越來(lái)越重要,部分具有大型搜索引擎的公司已經(jīng)為此成立了專(zhuān)門(mén)的評(píng)測(cè)團(tuán)隊(duì)甚至部門(mén),利用評(píng)測(cè)數(shù)據(jù)來(lái)引導(dǎo)引擎的走向。
　　搜索引擎用戶滿意度評(píng)測(cè)的原理,就是將搜索引擎的結(jié)果集信息搜集起來(lái),交給用戶打分,并針對(duì)指

2、標(biāo)進(jìn)行統(tǒng)計(jì),對(duì)比引擎之間的優(yōu)劣。而能否成功地獲取到評(píng)測(cè)數(shù)據(jù),是能否成功發(fā)起評(píng)測(cè)任務(wù)的關(guān)鍵。
　　本文通過(guò)實(shí)驗(yàn)數(shù)據(jù)說(shuō)明數(shù)據(jù)抽取的準(zhǔn)確程度會(huì)直接影響評(píng)測(cè)結(jié)果,突出信息抽取部分對(duì)整個(gè)系統(tǒng)的重要性。對(duì)比了一些現(xiàn)有的Web信息抽取技術(shù),并針對(duì)本系統(tǒng)的需求進(jìn)行分析,結(jié)合搜索引擎結(jié)果集頁(yè)面源碼的特點(diǎn),總結(jié)各技術(shù)的優(yōu)勢(shì)與不足。提出使用正則匹配和Dom解析相結(jié)合的方式來(lái)抽取和處理評(píng)測(cè)數(shù)據(jù)。并基于這種設(shè)計(jì)思想,實(shí)現(xiàn)了一個(gè)適用性較強(qiáng),自動(dòng)化程度較高的W

3、eb信息抽取系統(tǒng),來(lái)解決評(píng)測(cè)系統(tǒng)如何搜集評(píng)測(cè)數(shù)據(jù)的問(wèn)題。
　　系統(tǒng)主要包括頁(yè)面下載、頁(yè)面過(guò)濾、生成抽取規(guī)則、信息抽取、數(shù)據(jù)存儲(chǔ)等部分。本文對(duì)這些部分依次做了較為詳細(xì)的介紹。其中生成抽取規(guī)則是系統(tǒng)較為重要的實(shí)現(xiàn)部分。系統(tǒng)可以利用Dom結(jié)構(gòu)和樣本學(xué)習(xí)來(lái)自動(dòng)生成抽取規(guī)則,尋找節(jié)點(diǎn)的最大公共路徑,記錄樣本節(jié)點(diǎn)的特征,并經(jīng)過(guò)節(jié)點(diǎn)相似度匹配的算法過(guò)濾掉無(wú)關(guān)節(jié)點(diǎn)信息,為部分產(chǎn)品實(shí)現(xiàn)自動(dòng)化較高的信息抽取。當(dāng)然,抽取規(guī)則也可人工修正。為了提高精度,