基于本體的主題知識自增長聚焦爬蟲研究.pdf

1、在現(xiàn)今互聯(lián)網(wǎng)中數(shù)據(jù)量急劇增長、用戶教育水平越來越高的情況下，通用搜索引擎越來越不能滿足用戶專業(yè)化、精確搜索的需求，因而近些年垂直搜索引擎這一概念被提了出來，而聚焦網(wǎng)絡(luò)爬蟲就是垂直搜索引擎的核心之一。
　　主題知識描述模型的設(shè)計(jì)將直接影響到聚焦網(wǎng)絡(luò)爬蟲后期的頁面分析算法、爬行策略的制定，現(xiàn)有研究成果中存在著大量的主題描述模型與算法，但大多都不能很好的支持主題的語義化搜索，這就使得現(xiàn)有的聚焦網(wǎng)絡(luò)爬蟲不能很好的覆蓋主題的相關(guān)網(wǎng)頁，深層次

2、的主題相關(guān)網(wǎng)頁很難被發(fā)現(xiàn)。
　　為了彌補(bǔ)現(xiàn)有聚焦網(wǎng)絡(luò)爬蟲的缺陷，本文做出了如下幾方面的研究分析工作:
　　(1)提出了利用可動(dòng)態(tài)擴(kuò)展的領(lǐng)域本體模型描述主題，構(gòu)建主題相關(guān)的語義Web，以便能夠更加準(zhǔn)確、更有邏輯性的描述主題，提高聚焦網(wǎng)絡(luò)爬蟲的爬行精度。
　　(2)基于可動(dòng)態(tài)擴(kuò)展的領(lǐng)域本體設(shè)計(jì)主題知識擴(kuò)充模型，以便在爬行過程中不斷地?cái)U(kuò)充主題描述模型，增加聚焦爬蟲搜索的準(zhǔn)確度及全面性。
　　(3)在可動(dòng)態(tài)擴(kuò)展的領(lǐng)域本體

3、基礎(chǔ)之上，給出相應(yīng)的主題相關(guān)度算法，這個(gè)相關(guān)度既考慮了網(wǎng)頁內(nèi)容層面，同時(shí)也考慮了URL鏈接層面的相關(guān)度，這樣可以透過主題無關(guān)或主題相關(guān)度不高的網(wǎng)頁提取到主題相關(guān)度高的網(wǎng)頁，但這一過程設(shè)計(jì)的算法復(fù)雜度較高，因此需要在日后的工作中加以改進(jìn)。
　　(4)設(shè)計(jì)實(shí)現(xiàn)主題知識自增長聚焦爬蟲原型系統(tǒng)，并基于該系統(tǒng)進(jìn)行聚焦爬蟲算法性能比較實(shí)驗(yàn)，驗(yàn)證本文改進(jìn)的算法查全率與查準(zhǔn)率性能優(yōu)于其他算法。
　　實(shí)驗(yàn)表明，本文設(shè)計(jì)的基于領(lǐng)域本體改進(jìn)模型的