網(wǎng)頁資源智能收集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)字圖書館是一個驅(qū)動多媒體海量數(shù)字信息組織與互聯(lián)網(wǎng)應(yīng)用問題各方面研究的技術(shù)領(lǐng)域.隨著互聯(lián)網(wǎng)的普及和發(fā)展,互聯(lián)網(wǎng)上的信息資源越來越豐富,而且數(shù)據(jù)量極大,采用傳統(tǒng)的人工管理的方法已經(jīng)無法滿足需求,這就使得互聯(lián)網(wǎng)上信息資源的收集和管理成為數(shù)字圖書館資源管理的重要課題之一.互聯(lián)網(wǎng)上海量的資源需要高效智能的工具來完成信息資源的采集、管理和檢索.搜索引擎是解決這個問題的一個方法,用戶使用搜索引擎可以高效,快捷地檢索所需的信息.可是目前廣泛使用的搜索

2、引擎往往不是面向特定主題的,它們返回給用戶的搜索結(jié)果往往包含大量用戶不感興趣的內(nèi)容,所以不能很好的滿足國家科學(xué)數(shù)字圖書館項(xiàng)目中面向特定領(lǐng)域的信息檢索的需求.為了完成對特定領(lǐng)域信息資源的檢索,先要完成對特定領(lǐng)域信息資源的收集.搜索引擎對信息資源的收集是由網(wǎng)頁抓取器來完成的,網(wǎng)頁抓取器是搜索引擎的重要組成部分.該文所介紹的"網(wǎng)頁資源智能收集系統(tǒng)"主要利用超鏈分析、網(wǎng)頁分類技術(shù)來解決面向特定領(lǐng)域網(wǎng)頁資源自動收集的問題.該系統(tǒng)把網(wǎng)頁抓取器與超鏈

3、分析器、文本自動分類器相結(jié)合,完成對用戶所要求特定領(lǐng)域的網(wǎng)頁的收集,避免對用戶不感興趣領(lǐng)域網(wǎng)頁的收集,這樣可以節(jié)省硬件、網(wǎng)絡(luò)資源和提高資源采集效率.為了提高發(fā)現(xiàn)新的相關(guān)網(wǎng)頁資源的效率,該系統(tǒng)中構(gòu)建了超鏈分析器,該文介紹了項(xiàng)目中構(gòu)建超鏈分析器的方法,并給出了測試結(jié)果.為了提高找到新的相關(guān)網(wǎng)頁資源的準(zhǔn)確性,系統(tǒng)中利用25000篇人工標(biāo)注類別物理文摘作為學(xué)習(xí)樣本,構(gòu)建了中英文分類器.該文介紹了項(xiàng)目中分類器的構(gòu)建方法和構(gòu)建過程,并對不同的分類器