基于元搜索引擎的網(wǎng)頁采集技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)信息急劇膨脹，對(duì)互聯(lián)網(wǎng)信息敏感的政府部門和企事業(yè)單位已經(jīng)無法單單依靠人工監(jiān)控來把握互聯(lián)網(wǎng)的動(dòng)向了。為了幫助用戶更好地實(shí)時(shí)監(jiān)控分析網(wǎng)絡(luò)信息,近些年涌現(xiàn)了大量的互聯(lián)網(wǎng)信息處理平臺(tái)。這些互聯(lián)網(wǎng)信息處理平臺(tái)借助于高性能的計(jì)算機(jī)，及時(shí)、準(zhǔn)確、全面的采集網(wǎng)絡(luò)信息，并進(jìn)一步為用戶提供有價(jià)值的分析結(jié)果。
　　然而，現(xiàn)有的網(wǎng)頁信息采集技術(shù)在采集數(shù)據(jù)的時(shí)效性、全面性和有效率上還存在一定缺陷，并且設(shè)計(jì)復(fù)雜，維護(hù)困難，需要消耗大

2、量的人力、物力。
　　為了克服上述缺陷，本文將元搜索技術(shù)遷移應(yīng)用到了互聯(lián)網(wǎng)信息采集系統(tǒng)中去，提出了基于元搜索引擎的網(wǎng)頁采集技術(shù)——采集型元搜索技術(shù)。實(shí)驗(yàn)結(jié)果表明，比起已有的網(wǎng)頁信息采集技術(shù)，新的網(wǎng)頁采集技術(shù)能夠保證采集數(shù)據(jù)的時(shí)效性、全面性和有效率。
　　本文所做主要工作如下：
　　1)對(duì)傳統(tǒng)的網(wǎng)頁采集技術(shù)進(jìn)行了詳細(xì)的研究和分析，闡述了各種網(wǎng)絡(luò)爬蟲在滿足互聯(lián)網(wǎng)信息處理平臺(tái)的網(wǎng)頁采集需求時(shí)的優(yōu)缺點(diǎn)，提出了基于元搜索引擎的網(wǎng)

3、頁采集技術(shù)。
　　2)針對(duì)現(xiàn)有元搜索引擎應(yīng)用于采集模塊存在采集規(guī)模過小的問題，提出了基于局部共現(xiàn)統(tǒng)計(jì)的查詢擴(kuò)展技術(shù)（LCOOCS），通過增加查詢次數(shù)的方式來獲取更多相關(guān)網(wǎng)頁。
　　3)針對(duì) LCOOCS需要對(duì)初檢結(jié)果進(jìn)行文本分析，而元搜索引擎的采集結(jié)果都是HTML網(wǎng)頁源代碼的問題，設(shè)計(jì)并實(shí)現(xiàn)了一種全自動(dòng)的正文抽取算法TextEx。
　　4)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)采集型元搜索系統(tǒng)?？偨Y(jié)提取了百度新聞、bing資訊等六大互聯(lián)網(wǎng)搜