WEB信息自動獲取平臺的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)含有海量信息，然而，人們在面對浩如煙海的網(wǎng)絡(luò)信息時往往感到束手無策，無法準(zhǔn)確快速地獲取人們真正需要的信息。本文認(rèn)為傳統(tǒng)信息獲取技術(shù)與人工智能和Agent技術(shù)相結(jié)合，能夠高效準(zhǔn)確地獲取網(wǎng)絡(luò)信息為用戶提供個性化信息服務(wù)，也是解決互聯(lián)網(wǎng)“信息過載”問題的有效方法之一。本文利用多Agent技術(shù)去解決在獲取網(wǎng)絡(luò)信息時所遇到的問題。 本文主要對如何能高效、準(zhǔn)確、個性化的獲取信息進(jìn)行深入研究。首先把對信息獲取技術(shù)的研究分兩個部分來進(jìn)行，

2、即資源發(fā)現(xiàn)模塊和信息抽取模塊。對于資源發(fā)現(xiàn)模塊，主要在如何能夠從廣度和深度兩個方面去發(fā)現(xiàn)資源提出了一種新的搜索算法，同時利用了多Agent技術(shù)實現(xiàn)了分布式的資源發(fā)現(xiàn)，每個頁面獲取Agent攜帶有基于支持向量機(jī)原理實現(xiàn)的分類算法，可以直接對所獲取的頁面進(jìn)行分類。在進(jìn)行資源發(fā)現(xiàn)的過程中根據(jù)URL評價算法對各個信息源進(jìn)行了綜合評價，根據(jù)評價結(jié)果對信息源進(jìn)行排序。對于信息抽取模塊，不但考慮到抽取到數(shù)據(jù)的數(shù)量還考慮到抽取到信息的有效性，在該模塊提

3、出了一種新的抽取規(guī)則表示方法，提高了在信息抽取過程中規(guī)則的適應(yīng)性。在進(jìn)行抽取的過程中，利用各個類別的Agent進(jìn)行分布式抽取并對抽取到的數(shù)據(jù)進(jìn)行了各種處理如分類，去重等。除此之外，還提出了對規(guī)則的有效性進(jìn)行檢驗的方法。 其次，在整個信息獲取模型中利用了多Agent技術(shù)。在對Agent技術(shù)進(jìn)行研究的過程中，對Agent技術(shù)的現(xiàn)狀及應(yīng)用領(lǐng)域進(jìn)行了分析，對Agent技術(shù)應(yīng)用中所遇到的一些問題進(jìn)行逐個深入分析并給出對策，然后在此基礎(chǔ)上建