基于領(lǐng)域關(guān)鍵詞自動擴(kuò)展的變量主題Hopfield聚焦爬蟲的研究.pdf

1、近些年隨著互聯(lián)網(wǎng)信息量的快速增長，如何準(zhǔn)確、快速、高效地從互聯(lián)網(wǎng)上獲取信息的問題變得越來越突出，面向主題的聚焦爬蟲技術(shù)應(yīng)運(yùn)而生?，F(xiàn)有的面向主題的聚焦爬蟲系統(tǒng)均不同程度地存在領(lǐng)域或主題依賴，即主題受限的不足。為了節(jié)約資源、提高建立的快速性、增加適應(yīng)的廣泛性，研究一種面向多領(lǐng)域的、具有主題可移植性的聚焦爬蟲系統(tǒng)是互聯(lián)網(wǎng)應(yīng)用快速發(fā)展的需要。 本文在分析總結(jié)了現(xiàn)有主題聚焦爬蟲技術(shù)的基礎(chǔ)上，提出了常量與變量主題聚焦爬蟲的概念。針對變量主題

2、聚焦爬蟲中主題特征的動態(tài)生成以及網(wǎng)頁抓取準(zhǔn)確性下降這兩個(gè)核心問題，提出了一個(gè)基于領(lǐng)域關(guān)鍵詞自動擴(kuò)展的變量主題Hopfield聚焦爬蟲參考模型，并就其中的關(guān)鍵技術(shù)進(jìn)行了研究。 首先，提出了一個(gè)改進(jìn)的網(wǎng)頁結(jié)構(gòu)化表示模型DocView-a，在量化表示中，它考慮了節(jié)點(diǎn)影響因子對節(jié)點(diǎn)權(quán)值的重要影響，以及節(jié)點(diǎn)類型對節(jié)點(diǎn)權(quán)值的不同影響，使得網(wǎng)頁的量化表示更加準(zhǔn)確，基于此，提出網(wǎng)頁關(guān)鍵詞自動提取改進(jìn)算法HTTE-a成功地增強(qiáng)了算法抗主題噪聲的能

3、力，在性能上優(yōu)于現(xiàn)有算法HTTE-b，為實(shí)現(xiàn)領(lǐng)域關(guān)鍵詞自動擴(kuò)展，提供關(guān)鍵的技術(shù)基礎(chǔ)；接著，提出了一個(gè)面向Hopfield Web理論模型的綜合結(jié)構(gòu)預(yù)測相關(guān)性分析模型，成功克服了現(xiàn)有模型的計(jì)算不穩(wěn)定問題；最后，提出了一個(gè)基于Hopfield人工神經(jīng)網(wǎng)絡(luò)的URL搜索算法Hncrawl，它在搜索URL的同時(shí)，通過神經(jīng)元的相關(guān)性傳播、增強(qiáng)與弱化，結(jié)合神經(jīng)元篩選與剪技策略，不斷清晰Web社區(qū)的主題邊界。 本文還給出了變量主題聚焦爬蟲系統(tǒng)的