面向互聯(lián)網(wǎng)應(yīng)用的存儲引擎優(yōu)化.pdf

1、本文先介紹了在互聯(lián)網(wǎng)環(huán)境下傳統(tǒng)關(guān)系數(shù)據(jù)庫技術(shù)遇到的挑戰(zhàn)，認(rèn)真分析了互聯(lián)網(wǎng)應(yīng)用（特別是博客類社交應(yīng)用）的具體特征:數(shù)據(jù)量巨大，有明顯的數(shù)據(jù)熱點(diǎn);并發(fā)請求量巨大，但是訪問模式讀多寫少，而且很多都是鍵值類型的查詢（比如按主鍵查詢就占了很大的比例）。然后介紹了在互聯(lián)網(wǎng)應(yīng)用特征下傳統(tǒng)的關(guān)系數(shù)據(jù)庫的瓶頸。接著分析了目前學(xué)術(shù)界和工業(yè)界對這個(gè)問題展開的研究，包括nosql技術(shù)，讀寫分離，分庫分表和分布式數(shù)據(jù)庫等。分析了這些方法的不足之處，然后引出了本論

2、文要做的工作及意義。
　　 本論文依托作者實(shí)習(xí)中參與的一個(gè)mysql自主存儲引擎的開發(fā)實(shí)踐，重點(diǎn)介紹了針對互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)熱點(diǎn)明顯，讀多寫少，簡單鍵值查詢居多的特點(diǎn)，設(shè)計(jì)和實(shí)現(xiàn)的一個(gè)記錄級的緩存，專門用于緩存熱點(diǎn)記錄。詳細(xì)分析了設(shè)計(jì)思路，整體架構(gòu)和主要流程等。行級緩存的設(shè)計(jì)使得自主存儲引擎的性能成倍于mysql自身的innodb存儲引擎。
　　 雖然由于行級緩存的存在，使得自主存儲引擎的性能明顯優(yōu)于innodb，但是在性能

3、測試中發(fā)現(xiàn)自主存儲引擎在穩(wěn)定性和磁盤IO方面還存在問題。主要表現(xiàn)在一方面引擎的事務(wù)吞吐和磁盤IO請求方面存在震蕩和抖動(dòng)的現(xiàn)象，另一方面磁盤IO請求碎片現(xiàn)象明顯，IO合并不理想。為了解決這個(gè)問題，作者利用一個(gè)自主開發(fā)的真實(shí)模擬互聯(lián)網(wǎng)社交類應(yīng)用（博客）的性能基準(zhǔn)測試工具來進(jìn)行性能分析與優(yōu)化。主要側(cè)重于磁盤IO方面，包括調(diào)整寫臟塊的算法和策略以及異步IO優(yōu)化等。
　　 經(jīng)過優(yōu)化后，在真實(shí)模擬互聯(lián)網(wǎng)社交類應(yīng)用（博客）的性能基準(zhǔn)測試工具的