基于示例的中文Web信息自動(dòng)獲取系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、現(xiàn)有的基于關(guān)鍵詞的搜索引擎雖然在一定程度上滿(mǎn)足了用戶(hù)查詢(xún)各種網(wǎng)絡(luò)信息的需要，但是沒(méi)有考慮用戶(hù)個(gè)體間的差異，無(wú)法滿(mǎn)足人們?nèi)找嬖鲩L(zhǎng)的個(gè)性化需求。中小型智能個(gè)性化網(wǎng)絡(luò)信息獲取系統(tǒng)憑借比搜索引擎更為優(yōu)質(zhì)的網(wǎng)絡(luò)信息獲取服務(wù)贏得了越來(lái)越多的用戶(hù)的認(rèn)同，已經(jīng)成為個(gè)性化網(wǎng)絡(luò)信息獲取技術(shù)的一個(gè)重要研究方向。但是，中小型智能個(gè)性化網(wǎng)絡(luò)信息獲取系統(tǒng)在用戶(hù)個(gè)性特征提取、基于用戶(hù)興趣的Web信息采集、網(wǎng)頁(yè)過(guò)濾等方面研究的滯后制約了這類(lèi)系統(tǒng)的開(kāi)發(fā)和使用。為此，本文

2、通過(guò)基于示例的中文Web信息自動(dòng)獲取系統(tǒng)的研發(fā)對(duì)這些問(wèn)題展開(kāi)了研究。 本文主要對(duì)中文示例Web頁(yè)面的特征抽取、待過(guò)濾Web信息源的采集、Web頁(yè)面的過(guò)濾等系統(tǒng)開(kāi)發(fā)過(guò)程中面臨的技術(shù)難題進(jìn)行了研究，提出一些新的算法、機(jī)制：為了減輕用戶(hù)的使用負(fù)擔(dān)，提出了一種適用于少量中文正例Web頁(yè)面的特征抽取方法，使得用戶(hù)即使只提交一至兩個(gè)示例也可完成興趣定制，增強(qiáng)了系統(tǒng)的易用性；提出了一種基于元搜索的Web頁(yè)面聚焦采集機(jī)制，能快速、有針對(duì)性地采集

3、待過(guò)濾Web信息源，節(jié)約系統(tǒng)資源和網(wǎng)絡(luò)資源；提出了一種可調(diào)節(jié)的過(guò)濾閾值設(shè)定方法，可按用戶(hù)選取的過(guò)濾精確等級(jí)向用戶(hù)推送興趣Web頁(yè)面。另外，改進(jìn)了基于分塊的HTML網(wǎng)頁(yè)去噪解析方法，可以有效地剔除各種頁(yè)面噪聲、解析出Web頁(yè)面的正文文本內(nèi)容；設(shè)計(jì)的系統(tǒng)構(gòu)架具有較好的可擴(kuò)展性、可維護(hù)性、可伸縮性以及可靠性，對(duì)其它個(gè)性化Web信息獲取系統(tǒng)的開(kāi)發(fā)也具有一定的借鑒意義。最后在上述基礎(chǔ)上，確立了系統(tǒng)的技術(shù)方案，并據(jù)此實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。系統(tǒng)采用的技

4、術(shù)方案是：采用多層客戶(hù)機(jī)/服務(wù)器體系結(jié)構(gòu)，引入偽正例Web頁(yè)面并結(jié)合《人民日?qǐng)?bào)》切分標(biāo)注語(yǔ)料抽取用戶(hù)提交的少量示例網(wǎng)頁(yè)的特征來(lái)建立用戶(hù)興趣模板、設(shè)置過(guò)濾閾值，構(gòu)建元搜索引擎獲取待過(guò)濾Web信息源，使用向量空間模型過(guò)濾出興趣網(wǎng)頁(yè)并將它們推送給用戶(hù)，根據(jù)用戶(hù)對(duì)結(jié)果的反饋?zhàn)赃m應(yīng)地修改用戶(hù)興趣模板。 實(shí)驗(yàn)結(jié)果表明，較基于關(guān)鍵詞的機(jī)器人搜索引擎而言，系統(tǒng)能充分考慮用戶(hù)的興趣偏好(示例)，以較小的資源代價(jià)長(zhǎng)期、主動(dòng)地向用戶(hù)提供更加準(zhǔn)確的We