WEB數(shù)據(jù)緩存與預(yù)取一體化的研究與應(yīng)用.pdf

1、微博客伴隨著Web2.0的步伐已近漸漸成為了互聯(lián)網(wǎng)的主流應(yīng)用之一。僅新浪微博就有近億的注冊(cè)用戶，每天的微博發(fā)布量高達(dá)千萬。如此龐大的信息量必然引發(fā)了更大的用戶訪問量，隨之而來的則是各級(jí)服務(wù)器的負(fù)載加重以及網(wǎng)絡(luò)訪問的延遲。這些問題必然會(huì)降低用戶體驗(yàn)，影響微博客的進(jìn)一步發(fā)展。解決以上問題的關(guān)鍵就是Web數(shù)據(jù)的緩存與預(yù)取技術(shù)。緩存通過在網(wǎng)絡(luò)的節(jié)點(diǎn)中存儲(chǔ)數(shù)據(jù)從而有效的減少了對(duì)于源服務(wù)器的訪問和縮短了獲取數(shù)據(jù)的時(shí)間和距離;預(yù)取技術(shù)通過預(yù)測并提前獲

2、取未來的訪問數(shù)據(jù)，能夠有效的減少用戶的訪問等待時(shí)間。但是，目前對(duì)于這兩項(xiàng)技術(shù)的研究都不能很好應(yīng)對(duì)微博客這種新型網(wǎng)絡(luò)應(yīng)用的數(shù)據(jù)特性。微博客具有很強(qiáng)的時(shí)效性，同時(shí)每條微博有固定的大小，其關(guān)注/被關(guān)注的特點(diǎn)更容易形成固定的訪問模式。因此，本文針對(duì)微博客的這些特點(diǎn)提出了與基于時(shí)間約束的緩存置換算法和數(shù)據(jù)預(yù)取算法，并將二者有效地結(jié)合，從而有效的提高了訪問效率并且縮短了訪問時(shí)間，對(duì)于節(jié)約了網(wǎng)絡(luò)資源和提高用戶體驗(yàn)有重要的意義。
　　本文在傳統(tǒng)的

3、緩存置換算法基礎(chǔ)上，提出了綜合考慮數(shù)據(jù)對(duì)象的訪問時(shí)間、大小和預(yù)測性能的緩存置換算法。當(dāng)緩存剩余空間不足時(shí)，緩存置換算法通過計(jì)算數(shù)據(jù)對(duì)象多個(gè)評(píng)價(jià)參數(shù)的綜合權(quán)值來決定將哪些數(shù)據(jù)副本置換出緩存空間。算法充分考慮了微博客小而快的數(shù)據(jù)特性，優(yōu)先置換出較大的且長時(shí)間沒有被訪問的數(shù)據(jù)，保證小數(shù)據(jù)的“新鮮”。同時(shí)在現(xiàn)有的prefixSpan序列模式挖掘算法的基礎(chǔ)上進(jìn)行改進(jìn)，加入時(shí)間約束條件，使之更符合微博客訪問序列的挖掘。隨后將獲得的用戶訪問序列中的頻