基于RSS的自適應(yīng)抓取服務(wù)的研究與實現(xiàn).pdf

1、RSS也叫聚合RSS，是在線共享內(nèi)容的一種簡易方式。傳統(tǒng)的網(wǎng)絡(luò)爬蟲對實時性要求不是很高，但是RSS的特點是時效性強(qiáng)，為了向用戶提供高時效性的個性化服務(wù)，服務(wù)器需要以最短的延遲獲得更新的文章，保證離線集的“新鮮度”。之前的研究多集中于多RSS新聞的提取技術(shù)和其他RSS應(yīng)用領(lǐng)域的研究，對于如何減少RSS抓取延遲，提高RSS文章時效性的研究較少。
　　本文在查閱了大量國內(nèi)外有關(guān)文獻(xiàn)，分析了現(xiàn)有RSS技術(shù)相關(guān)研究的基礎(chǔ)上，設(shè)計了自適應(yīng)抓取

2、間隔算法。該算法針對抓取過程中的不同情況，由加權(quán)平均更新間隔和加權(quán)更新間隔變化影響抓取間隔，根據(jù)RSS源當(dāng)時的更新情況，動態(tài)調(diào)節(jié)抓取間隔。使抓取間隔更適應(yīng)RSS文件更新問隔，以達(dá)到減少抓取延遲，提高RSS聚合服務(wù)時效性的目的。通過計算權(quán)值選擇使權(quán)值最小的參數(shù)組合。在兩個具有代表性的RSS源上，與等間隔抓取算法進(jìn)行對比試驗。從實驗結(jié)果來看，自適應(yīng)抓取間隔算法的效果明顯優(yōu)于等間隔抓取算法。自適應(yīng)抓取間隔算法減少了抓取延遲，能使RSS聚合服務(wù)