大規(guī)模高密度異構無線網建設挑戰(zhàn)與思考

1、大規(guī)模、高密度、多廠商無線網建設的挑戰(zhàn)與思考,北京大學計算中心 張蓓zb@pku.edu.cn2016年10月27日,我們的問題,遍地都是無線網，還是連不上，被學生頻吐槽，為什么？校長忘了登網關，無法看論文，抱怨無線網不好使，為什么？無線信號好強，微信總在轉，好慢，為什么？學校投了好多錢，師生還是不滿意，校長苦惱，我們抱屈IT狗必須認真思考！,2,無線網 ≠ 連網線 + 分地址！,我們的目標,拒絕連不上！拒絕被擠掉！

2、拒絕反復登錄！像機場酒店一樣使用便利！像有線一樣穩(wěn)定流暢！,3,使用WiFi像使用4G一樣方便！,我們的挑戰(zhàn),需要提供無窮多的IP地址，可是全球IP地址已于2011年告罄移動終端頻繁申請IP地址，你的DHCP無法承受業(yè)界各款認證技術與計費無關，校園網無法簡單落地你無法保證校園網只用一個無線品牌，一走就掉線,4,理想很豐滿，現(xiàn)實很骨感！,快速發(fā)展的無線網：北京大學編年史,5,增加60倍,特點,規(guī)模大覆蓋樓宇多、AP數(shù)量多用

3、戶多、終端多、流量大密度高教室、圖書館學生宿舍大禮堂、體育館品牌多管理平臺多、控制器多互相不兼容,6,何謂大規(guī)模——AP數(shù)量多,樓宇數(shù)量大一般采用分期分批建設不同階段覆蓋方案不同早期，一般是重點區(qū)域覆蓋新建，一般是全面覆蓋 大規(guī)模分階段覆蓋品牌多，網管平臺多控制器多，AP多,7,何謂大規(guī)?！诰€用戶數(shù)量大,8,約3.3萬人,何謂大規(guī)模——無線增長快,9,無線略多,1 : 3,何謂大規(guī)?！髁?/p>

4、大,10,無線網絡萬兆出口1：學生宿舍區(qū),無線網絡萬兆出口2：辦公與教學區(qū),5.7G,1.5G,挑戰(zhàn),用戶拿不到地址，上課登不上無線，學生抱怨大用戶數(shù)量增長快，行為差異大，如何調整地址分配策略地址總變，需要反復登錄，上網感受差多廠商之間不漫游，感覺總斷網同廠商控制器之間也不能漫游，并不像吹的那么美好花架子，性能壓力大，大規(guī)模下無法啟用Aruba最多支持1000-2000個用戶漫游上網登錄頁面不自動彈出，上網感受差哪種登錄

5、方式都不完美802.1x：不開放，無法與計費網關聯(lián)動，欠費打不開，改密碼后會出錯Portal：依賴控制器，依賴客戶端，有時彈不出，無法跨廠商,11,拒絕連不上、被踢掉，像有線一樣穩(wěn)定流暢！,要有足夠的IP地址要有科學合理的IP地址分配策略要有堅實魯棒的DHCP服務器要有精細的AP數(shù)量設計和位置設計，減少信號干擾要有良好的無線主干網設計和AC控制器設計，保障流量暢通,12,IP地址的挑戰(zhàn),DHCP的地址池多大合適？有線網絡

6、傳統(tǒng)的設計，通常與以太網的沖突域相關，一般為1-2個C利用新興的技術手段，例如大二層、端口隔離等，可以突破沖突域的限制，可以設計為4個C，16個C，甚至1個B無線網絡根據(jù)用戶量分析，一般按照用戶數(shù)量的1.5-2倍設計地址池,13,DHCP Pool的演變歷史,2002-2006年，起步階段用戶量較小，因此和有線網絡采用了同樣的策略公有地址，在校園網現(xiàn)有地址段里劃出若干個C（不連續(xù)，沒有規(guī)律）公共教室、圖書館和公共區(qū)域，單

7、獨為無線網絡分配地址段，1C/Pool部分科研辦公樓，不區(qū)分有線IP和無線IP，混用，1C/PoolLease時間，一般與有線網絡相同，4個小時；2007-2009年，公共區(qū)域、教室樓全面部署高密度無線用戶量逐漸增多，上大課出現(xiàn)用戶拿不到IP地址現(xiàn)象公有地址，規(guī)劃出64個連續(xù)的IPv4地址，專用于無線網絡公共教室、圖書館、公共區(qū)域，按樓層分配地址段，例如：二教4個Pool， 1C/Pool隨著用戶量逐漸增加，為保證vlan

8、 id不變，逐步擴展到2C/Pool考慮到更好的利用地址池，lease時間逐漸從4小時、2小時，縮短到1小時,14,DHCP Pool的演變歷史,2010-2014年，用戶數(shù)量激增2011年5月—9月，北京大學校園網內出現(xiàn)的用戶終端統(tǒng)計，無線用戶占總用戶數(shù)量的51.6%，有線用戶和無線用戶數(shù)量對比發(fā)生反轉公有地址，專門申請了1個B的IP地址，專用于無線網絡公共教室、圖書館和公共區(qū)域，4C/Pool科研辦公樓，2C/Pool學

9、生宿舍樓無線方案測試，初期1個樓4個C，后期部分宿舍樓分配8個CLease時間：由于用戶越來越多，需要的IP地址也逐步增加，為了更合理地利用1個B的地址空間，因此嘗試對DHCP服務器進行代碼修改，對lease時間進行階梯型增加：第一次30分鐘；第二次60分鐘，第三次120分鐘把移動用戶僅僅因為路過而拿到的地址盡快釋放出來，從而達到節(jié)省IP地址的目標后續(xù)ISC DHCP的新版本也支持了這項特性,15,DHCP Pool的演變歷

10、史,2015-2016年，人均終端數(shù)增長明顯根據(jù)網管數(shù)據(jù)計算，人均1.25個終端，目前仍在逐步擴大中每間宿舍1個面板AP，宿舍晚間IP地址需求量巨大公共教室、圖書館、公共區(qū)域全面升級改造，用戶量增加2015年8月無線全面改為私有地址，并根據(jù)功能區(qū)劃分地址公共教室、圖書館、學生宿舍和公共區(qū)域，4C/Pool科研辦公樓，2C/PoolLease時間，考慮到私有地址空間較大，目前l(fā)ease時間改為固定的1小時既考慮到合理利

11、用地址空間，也考慮到盡快釋放已離開終端占用的地址對DHCP服務器的性能提出了很高的要求,16,北京大學無線網絡IP地址分配的歷史,17,2002年—2015年無線網絡采用公有地址（115.27.0.0/24）,北京大學無線網絡IP地址分配情況（2016年10月）,18,大規(guī)模IP地址管理的挑戰(zhàn),無線用戶的終端，特別是手機的大量出現(xiàn)，對DNS的查詢壓力明顯增加手機的移動性特征，對DHCP產生了大量無效租約信息過快的在不同D

12、HCP Pool之間移動會造成IPv4地址快速消耗需要DHCP服務器能夠識別客戶端增加安全性能夠快速釋放租約保證IP地址的活躍有效同時具有高性能LPS，保證在快速釋放租約的同時保證可靠的性能,19,IP地址的管理,IP地址的管理幾個方面DNSDHCPIPAM ，IP Address Management引入新名詞：DDIGartner在2009年的報告中，強調「核心網絡服務」的重要性。在這份Report當中在首先

13、提出DDI 這個名詞，來代表這個市場 DNS，DHCP & IP Address Management (IPAM) – DDI,20,DDI——通常存在的問題,使用ISC 提供DNS Bind/DHCP的開源服務器，單臺服務器性能有限多臺DNS服務器（無線網絡3臺），在負載均衡后面，隨時監(jiān)控系統(tǒng)狀態(tài)，當某一單機DNS出現(xiàn)性能問題時，重啟單臺DNS服務進程多組DHCP服務器（雙機Failover機制），負責校園無線網絡（2組

14、）+備份（1組）DDI整體管理效率問題DHCP、DNS、IP管理系統(tǒng)由分別由不同老師各自進行管理，整體管理效率有待提高部分院系部署并管理自己的DNS，各院系管理參差不齊的管理水平容易導致DNS遭受安全攻擊IP地址管理較為混亂主要通過Excel電子表格，由多個網絡管理員進行管理,21,高性能的DDI統(tǒng)一管理平臺,22,統(tǒng)一管理DNS兩臺高性能DNS硬件服務器，采用HA架構，對外虛擬成一臺統(tǒng)一的DNS服務器，具備安全防護機制

15、根據(jù)型號不同，QPS：40K-200K,統(tǒng)一管理DHCP兩臺高性能DHCP硬件服務器，采用HA架構，對外虛擬成一臺統(tǒng)一的DHCP服務器根據(jù)型號不同，LPS：60-1000,統(tǒng)一管理平臺統(tǒng)一的管理平臺，實現(xiàn)DNS、DHCPv4、DHCPv6、IP地址管理，管理簡單化廠商：Bluecat、Infoblox等,無線網準入認證的挑戰(zhàn)和解決方案,多廠商、多控制器無線網準入認證的主要問題多廠商之間支持方式不同同廠商之間版本不同，支持方

16、式不同802.1x問題Portal問題自主研發(fā)線網準入認證網關技術優(yōu)勢完全透明，與設備無關，廣納天下賢能，招誰都不怕可與計費網關聯(lián)動，支撐個性化計費政策支持自動彈出認證Portal，兼容性好，符合用戶使用習慣,23,無線漫游和無感知認證的挑戰(zhàn),大規(guī)模無線網絡的提供，用戶可以隨時隨地的獲得無線信號，必然要求不間斷的上網體驗。不間斷，意味用戶認證需要保持兩方面的不間斷：無線網絡的用戶準入+校園出口的準出與計費,24

17、,無線漫游的挑戰(zhàn),每一廠商都有無線漫游的解決方案，但實際情況是：控制器之間漫游，限制太多，無法實現(xiàn)控制器軟件版本的一致AP的硬件問題，版本低不支持新型號AP，版本高不支持老型號AP控制器的硬件問題，老控制器有一個版本的上限，新控制器有一個版本的下限分階段購買的AP和控制器，無法保證在統(tǒng)一的版本上不一致的軟件版本，只能實現(xiàn)有限的漫游功能控制器配置的一致為保證在不同控制器上實現(xiàn)漫游，必須把所有配置（SSID、VLAN）等

18、信息都配置在所有控制器上，造成控制器的配置復雜，每一個細微參數(shù)的修改，都可能要求所有控制器一起修改，配置管理成本很高,25,無線漫游的挑戰(zhàn),每一廠商都有無線漫游的解決方案，但實際情況是：控制器之間漫游，要求太多，無法實現(xiàn)用戶漫游在控制器之間交換用戶信息量巨大小規(guī)模用戶情況下，在控制器之間交互單一或少量用戶數(shù)據(jù)的機制是可行的大規(guī)模用戶情況下，控制器要交換、保留所有的用戶認證數(shù)據(jù)，數(shù)據(jù)量太大，對每個控制器的壓力都會很大實際的測試

19、效果，在不同的硬件控制器之間的用戶信息交換，一般可以維持在在1000-2000個終端左右主流廠商都有各自無線漫游的解決方案，但是：各自為政，互不相通，沒有統(tǒng)一標準,26,無線漫游的出路,通過上面的分析得出結論單一廠商的無線漫游和無感知，不靠譜跨廠商的無線漫游和無感知，就沒有只能靠自己想辦法，提出解決方案,27,拒絕重復登錄，無感知認證的挑戰(zhàn)和解決方案,自主研發(fā)了跨平臺無感知認證系統(tǒng)技術優(yōu)勢全校漫游，再也無需重復登錄完全

20、透明，與設備無關，廣納天下賢能，招誰都不怕優(yōu)異的可擴展性，可代管其他院系的控制器，全校無感知每個月重新登錄一次，周期可調整，平衡安全和便利的關系,28,無線網絡的用戶準入,用戶認證相關技術Portal+自動跳轉無論是PC或者手機，通過瀏覽器跳轉都是簡單的做法，但是有可能第一個發(fā)起http請求的是后端的應用程序或者APP，跳轉頁面可能并不能彈出瀏覽器進行用戶認證；未來大量的連接是https，很難進行https劫持采用Capt

21、ive Portal，iOS系統(tǒng)可以自動跳轉到認證界面，Andriod系統(tǒng)依賴于不同手機廠家的具體實現(xiàn)。有的彈出認證界面，有的給出一個系統(tǒng)通知，而有的完全沒有反應,29,無線網絡的用戶準入,用戶認證相關技術802.1x在系統(tǒng)端可以很好的完成準入認證，多廠商對于Radius支持也較好，用戶準入沒有問題；802.1x是基于二層的認證，而校園準出是基于IP地址的，如果和準出聯(lián)動，實現(xiàn)校園準出的無感知還需要其他系統(tǒng)配合連動，成本較高

22、802.11u和WiFi聯(lián)盟Passport基于MAC地址,30,無線網絡的用戶準入,用戶可選擇的登錄方式登錄Web Portal客戶端廠商客戶端：僅支持本廠商的設備，跨廠商無法實現(xiàn)；第三方客戶端或自建的客戶端：需要維護多個版本：Windows、MacOS、iOS、Andriod、各種linux無論是自己編程、還是購買，后期升級維護成本都很高無感知認證完全依賴于廠商實現(xiàn)，跨廠商沒有標準，無法實現(xiàn),31,校園出口

23、的準出及計費,大部分的用戶認證計費系統(tǒng)是基于IP地址的一旦IP地址發(fā)生變化，用戶需要重新認證大規(guī)模無線網絡的提供，用戶可以隨時隨地的獲得無線信號，必然要求不間斷的上網體驗。不間斷意味著（無線準入+出口準出）都不斷。出口準出不間斷要求：IP地址不變，用戶與IP地址對應關系保持不變或者在地址變化時，動態(tài)修改用戶與IP地址的對應關系,32,無線網自動IP地址授權系統(tǒng)AIA,校園網無線用戶每次連接Wireless PKU后，都需

24、要通過網頁或者客戶端程序認證才可以使用無線網。為了改善用戶上網體驗，提出了采用DHCP觸發(fā)機制實現(xiàn)基于MAC地址的無感知認證解決方案，可以讓用戶只需一次登錄，就可以持續(xù)一段時間內（比如：1個自然月）無需認證就可以直接使用無線網絡。,33,自動IP地址授權的原理,基于DHCP服務器觸發(fā)的AIA觸發(fā)器：一旦DHCP服務器中IP地址租用發(fā)生變化，就會調用觸發(fā)器將相關信息發(fā)送給AIA代理服務。AIA代理服務：接收AIA觸發(fā)器關于IP地

25、址變更信息，根據(jù)AIA注冊數(shù)據(jù)庫中的信息決定是否自動開通相應IP地址的聯(lián)網權限。AIA注冊數(shù)據(jù)庫：保存移動終端MAC地址注冊數(shù)據(jù)，包括UID、有效期、聯(lián)網權限等。AIA注冊服務：實現(xiàn)MAC地址注冊信息的增加、刪除、查詢等功能。 AIA自動注冊服務：通過無線網絡認證的日志信息，自動注冊移動終端的MAC地址。,自動IP地址授權的優(yōu)勢,技術優(yōu)勢完全透明，與設備無關，廣納天下賢能，招誰都不怕可與計費網關聯(lián)動，支撐個性化計費政

26、策支持自動彈出認證Portal，兼容性好，符合用戶使用習慣目前服務覆蓋區(qū)域公共區(qū)域、部分教學區(qū)、部分科研辦公區(qū)使用效果良好,35,超高密度無線網的挑戰(zhàn)和解決方案,主要任務：邱德拔體育館無線網建設我們的失敗2015年開學典禮設計：采用了72個內置全向天線的AP，均勻部署在觀眾區(qū)中間單臺AP實際測試的接入能力都超過150個終端，計劃單AP覆蓋100個終端 實際效果：在線終端數(shù)到達1500臺時，就再也升不上去了

27、 測試分析：離AP距離1-5排，基本可以獲得地址，可以上網，速度很慢；超過5排，信號滿格，基本無法獲得地址，即使獲得地址，也無法上網,36,超高密度無線網的挑戰(zhàn)和解決方案,主要問題密度問題終端密度——用戶終端基數(shù)大、密度超高，發(fā)射功率不受控制，產生的沖突難以有效避免AP密度——數(shù)量較多、密度較高，場地開闊，使用全向天線AP難以有效控制沖突域頻譜資源2.4G頻段——僅有3個可用信道，超高密度部署時難以有效避免同頻干擾；非Wi

28、-Fi干擾（藍牙、無線麥克風等）難以避免5G頻段——中國大陸目前有13個可用信道，是超高密度無線網絡的首選,37,超高密度無線網的挑戰(zhàn)和解決方案,主要問題接入速率低速率接入相對擴大了AP的覆蓋范圍，提高了信道使用率、擴大了沖突域關閉低速率連接用戶限速單用戶限速，避免個別用戶長時間占用帶寬和信道資源，保證所有用戶可以公平使用網絡,38,超高密度無線網的挑戰(zhàn)和解決方案,我們的成功經驗指導思想——5G為主，2.4G輔助通過SS

29、ID的設置引導用戶使用5GWireless PKU，原有SSID，在場館內只面向5G用戶Wireless PKU-2.4G，新增SSID，只面向2.4G用戶使用定向天線，有效控制沖突域降低AP功率、關閉802.11b，縮小單顆AP覆蓋范圍，進一步控制沖突域手動規(guī)劃信道，最大限度減少同頻干擾、鄰頻干擾單用戶限速,39,超高密度無線網的挑戰(zhàn)和解決方案,我們的成功經驗,40,2016年7月5日，本科生畢業(yè)典禮簽到3000人，終端

30、總數(shù)2945（98.2%），峰值在線終端2300，傳輸170GB2016年7月6日，研究生畢業(yè)典禮簽到4300人，終端總數(shù)3398（79.0%），峰值在線終端2700，傳輸300GB2016年9月5日，開學第一課第一場：峰值在線終端2314，第二場：峰值在線終端33272016年9月6日，開學第一課第三場：峰值在線終端31192016年9月9日，開學典禮現(xiàn)場7000人，終端總數(shù)5569（79.6%），峰值在線終端

31、4530，傳輸150GB,超高密度無線網的挑戰(zhàn)和解決方案,我們的成功經驗看臺覆蓋方案利用看臺間的欄桿固定AP及天線，根據(jù)看臺各區(qū)域座椅分布情況，選擇不同夾角的定向天線定向天線的夾角決定了天線的安裝位置——前后放置或左右放置根據(jù)看臺固有的坡度調整天線角度，避免信號被靠近天線的觀眾遮擋,41,超高密度無線網的挑戰(zhàn)和解決方案,我們的成功經驗看臺覆蓋方案,42,超高密度無線網的挑戰(zhàn)和解決方案,我們的成功經驗場地覆蓋方案AP吸頂安裝