高可用可擴展集群化Redis設計與實現(xiàn).pdf

1、Redis是開源的高性能K-V存儲引擎，提供多種數(shù)據結構。Redis可以用作緩存，也可以用作存儲。開源的原生Redis對集群化支持比較弱，所以基于開源社區(qū)開發(fā)了分布式框架，對用戶提供分布式、穩(wěn)定、易用的Redis服務，Redis計劃在Redis3.0會提供官方的集群化方案，但是至今還是在測試版，并且其集群化方案在跨地域等情況下沒有得到充分的驗證，不適合生產環(huán)境。
　　本文根據對數(shù)據量大、高QPS環(huán)境下的業(yè)務需求分析和單Redis實

2、例進程的性能調研，提出了將Redis通過Proxy代理實現(xiàn)集群化的方案。調研整合其他的基礎服務，提出了系統(tǒng)的整體架構，提出Proxy層集群流量的負載均衡方法以及在協(xié)議選擇、多線程分發(fā)模型、Linux下的I/O復用、連接池和資源池以及多線程內存分配方式等方面的性能優(yōu)化做了重點的研究并提出了解決方案。通過對集群服務質量(QoS)水平需求分析，對集群資源進行建模并實現(xiàn)了集群的資源管理，并通過集群中服務關聯(lián)關系的管理降低服務之間的耦合。最后使用

3、集群管理平臺對服務進行了部署上線和管理，并通過監(jiān)控平臺查看服務的QPS和服務質量水平。
　　在集群化設計的基礎上，本文實現(xiàn)了包括Proxy流量分發(fā)層、Redis數(shù)據庫集群和集群管理平臺。提供包括服務接入、上線部署、擴容、關聯(lián)管理、容量管理、服務健康狀態(tài)監(jiān)測和故障流量切換等對用戶方透明的運維服務，在大數(shù)據流量和容量的情況下，用戶的感知如同是在使用一個單機無限容量的Redis實例。本文對該集群系統(tǒng)的實現(xiàn)用在了生產環(huán)境，測試結果表明該設