樂視和小米基于openstack云計算方案

1、樂視云計算基于樂視云計算基于OpenStack的IaaS實踐實踐[日期：20150922]來源：KVM虛擬化實踐作者：[字體：大中小]本文作者岳龍廣，現(xiàn)在就職于樂視云計算有限公司，負責IaaS部門的工作。從開始工作就混在開源世界里，在虛擬化方面做過CloudStackOvirt開發(fā)，現(xiàn)在是做以OpenStack為基礎的樂視云平臺。所以對虛擬化情有獨鐘，也對虛擬化云計算的未來充滿了信心。樂視網(wǎng)的所有服務是跑在樂視云上的，樂視云提供所有的底

2、層支撐，包括IaaSPaaSStageCDN等等。為了帶給用戶更好的體驗，樂視網(wǎng)的服務到哪，樂視云的底層服務就會跟到哪。其中虛擬化是必不可少的部分，它的快速提供、按需分配、資源隔離顯得特別重要，但我們會遇到什么問題呢今天的主要目的是分享我們在OpenStack項目中做的一部分工作，它們解決了內(nèi)部的一些需求，也是實際經(jīng)驗，希望對大家有所啟發(fā)。開始之前首先感謝肖總、浩宇、vict等朋友給予的大力支持，感謝群友、技術(shù)愛好者的圍觀。很榮幸有這次

3、機會來與大家做這個分享。提綱：1.IaaSArchitecture2.OpenStackDeploy&QOS3.MultipleRegions4.LeTVLBaaS5.DEV樂視云計算IaaS的基本架構(gòu)首先就是介紹一下樂視云計算基礎架構(gòu)，再介紹OpenStack網(wǎng)絡組件的部署，MultipleRegions是什么樣子的，更方便于使用的LeTVLBaaS，最后是開發(fā)上線流程。樂視云計算IaaS采用了OpenStack和Ceph的開源方案，

4、為樂視提供了云主機、虛擬網(wǎng)絡、云硬盤和S3對象存儲。Icehouse版本采用了Neutron，再做足調(diào)研的前提下，我們對Neutron做了大量的減法，所用服務僅為NeutronServer和OpenvSwitchAgent，控制節(jié)點部署NeutronServer(withML2plugin)，計算節(jié)點部署OpenvSwitchAgent。沒有網(wǎng)絡節(jié)點，因而沒有用到DHCPAgent，L3agent和MetadataAgent。物理網(wǎng)絡使

5、用VLAN做隔離。由于Region數(shù)量較多，每個region有不同的物理網(wǎng)絡(對應ml2_conf中的physical_wk字段)，可以緩解VLAN數(shù)量的限制。私有云環(huán)境通過ConfigDrive配置虛擬機網(wǎng)卡和metadata，PublicIP地址直接配在虛擬機網(wǎng)卡上，走物理路由器。無論是novawk還是neutron，我們都采用了穩(wěn)定可靠的網(wǎng)絡，由于不存在網(wǎng)絡節(jié)點的單點問題，因此集群在滿足私有云的需求前提下，兼顧了可靠性、穩(wěn)定性和可

6、擴展性。優(yōu)點：簡單穩(wěn)定，性能更好，這也是業(yè)務最需要的，線上業(yè)務穩(wěn)定、可用性是最重要的。缺點：犧牲了靈活性，和物理網(wǎng)絡的耦合度高為了防止某個虛擬機負載過高而影響其它虛擬機或者宿主機，我們做了了CPU，wk和DiskIO的QoS，其中Cpu的QoS采用cgroup實現(xiàn)，虛擬機網(wǎng)卡的QoS通過TC實現(xiàn)。一開始我們采用了cgroup限制DiskIO，由于ceph采用了Nonhostblock，故cgroup無法限制基于ceph的DiskIO因此

7、我們采用了qemuiothrottling。和cgroup相比，qemuiothrottling不僅僅能支持nonhostblockIO，同時限速的效果也更為出色，限速后，虛擬機的IO不會有太大抖動。此外，如果基于cgroup的DiskIO設置過小，會導致虛擬機刪除失敗。原因在于qemu提交的DirectIO必須完成后才能退出，使用過小的磁盤帶寬導致此動作需很長時間才能完成，導致qemu進程不能及時響應libvirt發(fā)出的SIGTERM