高可用數(shù)據(jù)庫(kù)架構(gòu) - 技術(shù)開(kāi)發(fā)頻道 it168

1、高可用數(shù)據(jù)庫(kù)平臺(tái)架構(gòu) 及日常管理經(jīng)驗(yàn)介紹,研發(fā)中心 邵宗文 szw2001@gmail.com,,傳統(tǒng)基礎(chǔ)設(shè)施平臺(tái) 無(wú)法解決擁堵問(wèn)題，不適合繁華地區(qū)。,高可用的基礎(chǔ)設(shè)施平臺(tái),為何需要搭建數(shù)據(jù)庫(kù)平臺(tái),各大部門(mén)自己申請(qǐng)數(shù)據(jù)庫(kù)服務(wù)器，運(yùn)維成本過(guò)高。操作系統(tǒng)，數(shù)據(jù)庫(kù)版本不一。出現(xiàn)突發(fā)熱點(diǎn)，造成數(shù)據(jù)庫(kù)讀寫(xiě)訪問(wèn)

2、巨增，受限于部門(mén)數(shù)據(jù)庫(kù)資源機(jī)器，而錯(cuò)失擴(kuò)大業(yè)務(wù)良機(jī)。缺乏統(tǒng)一的數(shù)據(jù)庫(kù)服務(wù)器性能監(jiān)控和報(bào)警。新項(xiàng)目產(chǎn)品上線數(shù)量過(guò)多，單個(gè)部門(mén)的數(shù)據(jù)庫(kù)資源無(wú)法滿足。無(wú)專門(mén)的人進(jìn)行全局?jǐn)?shù)據(jù)庫(kù)各種讀寫(xiě)操作統(tǒng)計(jì)的分析。存在磁盤(pán)故障導(dǎo)致不可訪問(wèn)，無(wú)自動(dòng)切換的問(wèn)題。,目前新浪數(shù)據(jù)庫(kù)平臺(tái)現(xiàn)狀,多個(gè)IDC數(shù)據(jù)中心Mysql5.0數(shù)據(jù)庫(kù)服務(wù)幾百臺(tái).(不斷增長(zhǎng)中)約有幾百T的數(shù)據(jù)量.（線上+備份存檔）約有幾百個(gè)項(xiàng)目產(chǎn)品使用。平臺(tái)重點(diǎn)產(chǎn)品有：財(cái)經(jīng)，體育，統(tǒng)一

3、通行證，無(wú)線wap，讀書(shū)，音樂(lè)，空間, 通用投票，博客圈，博客雜志，汽車(chē)，科技，發(fā)布系統(tǒng)等。,不可避免的故障,數(shù)據(jù)庫(kù)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)圖,數(shù)據(jù)庫(kù)平臺(tái)的其他好處：,提升全球擴(kuò)展性，包括新浪香港和北美等都能共享到重要數(shù)據(jù)資源，如體育，財(cái)經(jīng)數(shù)據(jù)。讓用戶訪問(wèn)就近IDC，提升服務(wù)質(zhì)量。很多剛開(kāi)始的項(xiàng)目可以混用同一個(gè)服務(wù)器資源。,關(guān)于一些數(shù)據(jù)庫(kù)日常管理的經(jīng)驗(yàn)介紹,如何去了解應(yīng)用項(xiàng)目的數(shù)據(jù)庫(kù)使用情況？大項(xiàng)目的有效切分方式？一個(gè)庫(kù)下多少表比較合適？長(zhǎng)

4、期運(yùn)行的數(shù)據(jù)庫(kù)，如何避免表性能下降？減少慢查詢語(yǔ)句的方法有哪些？數(shù)據(jù)庫(kù)服務(wù)器負(fù)載急劇上升的主要原因？,不要超過(guò)自身運(yùn)輸能力,數(shù)據(jù)庫(kù)應(yīng)用項(xiàng)目規(guī)劃和優(yōu)化原則,1. 了解自己的應(yīng)用應(yīng)用類型讀多寫(xiě)少（如體育，讀書(shū)），讀寫(xiě)比例差不多（如音樂(lè)），和寫(xiě)多讀少（如投票，統(tǒng)計(jì)）預(yù)計(jì)數(shù)據(jù)量半年？一年？后續(xù)擴(kuò)展？? 決定單表還是多表，擴(kuò)展的方法(hash分表) 預(yù)計(jì)訪問(wèn)量多少讀？多少寫(xiě)？峰值？? Com_select,Com_upda

5、te(insert,delete)實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)哪些必須實(shí)時(shí)查詢？哪些可以預(yù)先準(zhǔn)備或可以cache？哪些用于統(tǒng)計(jì)匯總？時(shí)間的要求實(shí)時(shí)性高的項(xiàng)目，如財(cái)經(jīng)，體育，實(shí)時(shí)性低的項(xiàng)目如博客圈等。,合理分配調(diào)度，實(shí)現(xiàn)全球快速到達(dá)。,2.如何對(duì)大應(yīng)用項(xiàng)目切分,保證數(shù)據(jù)庫(kù)單個(gè)實(shí)例盡量不要超過(guò)150G。切分盡量多的小實(shí)例，一個(gè)機(jī)器跑7-8個(gè)實(shí)例，平常load avg不超過(guò)1-2，峰值不超過(guò)6-7為合理。分表原則的選擇按時(shí)間(財(cái)經(jīng)

6、)按ID號(hào)hash分(統(tǒng)一通行證)按業(yè)務(wù)項(xiàng)目(通用投票),3. 單庫(kù)表數(shù)量的限制-- 為什么？ - 受文件系統(tǒng)操作限制，文件數(shù)過(guò)大需要更多文件句柄，且大目錄操作造成復(fù)制、壓縮、備份效率低。 - 打開(kāi)表占用數(shù)據(jù)庫(kù)資源（table_cache） √ 建議一個(gè)庫(kù)不應(yīng)超過(guò)300-400個(gè)表 √ 建議一般帶char字段的表不應(yīng)超過(guò)500萬(wàn)rows.基于數(shù)字的字段為主的表不要超過(guò)1000萬(wàn)rows.,4.表的優(yōu)

7、化,正確使用索引，避免全表搜索使用定長(zhǎng)表,且定期做OPTIMIZE TABLE命令（注意這個(gè)命令會(huì)鎖表，請(qǐng)?jiān)跀?shù)據(jù)庫(kù)訪問(wèn)小的時(shí)候做）在對(duì)大表進(jìn)行添加索引，一定要選擇訪問(wèn)小的時(shí)間段做，否則會(huì)導(dǎo)致嚴(yán)重問(wèn)題。注:一般臨晨2-3點(diǎn)時(shí)候是大部分項(xiàng)目訪問(wèn)的低谷。,5.索引優(yōu)化、選擇和試驗(yàn),穩(wěn)妥地改進(jìn)將需要優(yōu)化的相關(guān)表復(fù)制到測(cè)試環(huán)境在測(cè)試環(huán)境啟動(dòng)一個(gè)測(cè)試daemon，關(guān)閉query cache或是使用select SQL_NO_CACHE 方

8、式。未優(yōu)化時(shí)測(cè)試若干次查詢時(shí)間，以及explain檢查掃描集。選擇合適的索引試驗(yàn)建立?？梢酝ㄟ^(guò)use index(xx)來(lái)強(qiáng)制使用。檢查是否有效。測(cè)試查詢時(shí)間變化，反復(fù)試驗(yàn)得到最優(yōu)結(jié)果保持關(guān)注，根據(jù)情況隨時(shí)改變索引設(shè)置,6.關(guān)于排序的問(wèn)題,盡量使用帶主鍵的字段做order by 的排序盡量不要多提供頁(yè)面的查找（最好只提供100頁(yè)內(nèi)），避免機(jī)器爬蟲(chóng)抓取數(shù)據(jù)，導(dǎo)致數(shù)據(jù)庫(kù)壓力負(fù)載過(guò)高。因?yàn)樽鰋rder by field1 limi