操作系統(tǒng)頁(yè)面緩存優(yōu)化技術(shù)研究.pdf

1、隨著二級(jí)存儲(chǔ)設(shè)備與主存在傳輸速度上的差距不斷擴(kuò)大，磁箍I/O逐漸成為影響計(jì)算機(jī)系統(tǒng)性能的主要因素，甚至是限制系統(tǒng)平均性能的瓶頸。作為操作系統(tǒng)中磁盤(pán)緩存的最主要形式，頁(yè)面緩存(Page-Cache)機(jī)制與文件讀寫(xiě)執(zhí)行流程有非常緊密的聯(lián)系，直接影響著磁盤(pán)I/O性能。頁(yè)面緩存管理是操作系統(tǒng)虛存管理子系統(tǒng)的重要組成部分。 本文以改進(jìn)磁盤(pán)I/O平均性能為目標(biāo)，以實(shí)際系統(tǒng)中出現(xiàn)的一系列I/O問(wèn)題為著手點(diǎn)，針對(duì)操作系統(tǒng)頁(yè)面緩存提出相應(yīng)的優(yōu)化技

2、術(shù)，并在Linux操作系統(tǒng)內(nèi)核中進(jìn)行了原型實(shí)現(xiàn)與實(shí)驗(yàn)評(píng)價(jià)。由于磁盤(pán)I/O對(duì)服務(wù)器系統(tǒng)的影響尤其顯著，本文特別針對(duì)網(wǎng)絡(luò)服務(wù)器應(yīng)用對(duì)這些優(yōu)化技術(shù)進(jìn)行了實(shí)驗(yàn)測(cè)試與分析。 操作系統(tǒng)中頁(yè)面緩存有三個(gè)基本的管理與優(yōu)化問(wèn)題：替換，預(yù)讀，寫(xiě)回。針對(duì)這三個(gè)基本問(wèn)題，本文進(jìn)行了如下三個(gè)方面的研究工作： 1.改進(jìn)的頁(yè)面替換當(dāng)系統(tǒng)進(jìn)行大量的文件讀寫(xiě)后，頁(yè)面緩存空間的過(guò)度擴(kuò)張會(huì)導(dǎo)致進(jìn)程交換現(xiàn)象發(fā)生，急劇降低系統(tǒng)中關(guān)鍵應(yīng)用程序的執(zhí)行速度。本文設(shè)計(jì)并

3、實(shí)現(xiàn)了交換行為的有效控制接口，保證進(jìn)程映射頁(yè)面在未超過(guò)預(yù)定比例的情況下，不會(huì)被換出到磁盤(pán)的交換區(qū)中。 在觀察到文件大小屬性對(duì)重復(fù)訪(fǎng)問(wèn)可能性影響的基礎(chǔ)上，本文進(jìn)一步提出“抵制大文件的頁(yè)面LRU排序”技術(shù)來(lái)改進(jìn)頁(yè)面替換管理，目的是避免大文件占掘大部分緩存頁(yè)面而把更有可能被重復(fù)訪(fǎng)問(wèn)的小文件換出。簡(jiǎn)單的模擬實(shí)驗(yàn)和嚴(yán)格的web server負(fù)載測(cè)試都證明該技術(shù)對(duì)于系統(tǒng)I/O穩(wěn)定性具有積極意義。 2.前攝的文件預(yù)讀頻繁的緩存不命中所

4、造成的磁盤(pán)I/O延遲是制約大數(shù)據(jù)集Web服務(wù)器性能的主要因素。本文針對(duì)HTTP連接處理的文件訪(fǎng)問(wèn)特征，提出并實(shí)現(xiàn)了“前攝”的文件預(yù)讀策略—在open()系統(tǒng)調(diào)用中啟動(dòng)讀操作把文件數(shù)據(jù)從磁盤(pán)讀入到頁(yè)面緩存中。通過(guò)響應(yīng)延遲與吞吐量?jī)蓚€(gè)方面的實(shí)驗(yàn)測(cè)試，這種激進(jìn)的預(yù)取優(yōu)化能夠?qū)TTP處理響應(yīng)延遲降低20％～80％，在并發(fā)連接數(shù)目不高的情況下使服務(wù)器磁盤(pán)I/O的平均吞吐量獲得15％～40％的提高。 3.公平的寫(xiě)回控制本文提出了“公平寫(xiě)回

5、控制”框架，旨在對(duì)頁(yè)面緩存中的“臟”頁(yè)面提供更好的寫(xiě)回控制，進(jìn)而改善寫(xiě)性能。針對(duì)并發(fā)寫(xiě)操作所引起的臟頁(yè)滯留現(xiàn)象，本文在詳細(xì)分析Linux文件寫(xiě)回調(diào)度算法的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了CFW(Completely Fair Writeback)寫(xiě)回調(diào)度算法。該算法能夠有效解決大文件寫(xiě)回饑餓或?qū)懟鼐徛龁?wèn)題，從而消除了臟頁(yè)滯留現(xiàn)象。針對(duì)大規(guī)模寫(xiě)的進(jìn)行對(duì)正常寫(xiě)操作所造成的影響，本文進(jìn)一步實(shí)現(xiàn)了DWT(Discriminaling Writter Thr