大數(shù)據(jù)安全運維一體化解決方案

1、大數(shù)據(jù)安全運維一體化解決方案,數(shù)據(jù)驅(qū)動安全,關(guān)于,2,項目背景,隨著IT業(yè)務和產(chǎn)品服務的多樣化，使得業(yè)務系統(tǒng)產(chǎn)生的數(shù)據(jù)急劇增長，同時所需的設備數(shù)量和安全設施也隨之增加。如何能更好的使用這些數(shù)據(jù)，提高處理效率，成了迫在眉睫的任務，其中首先要實施的是：安全大數(shù)據(jù)，通過收集對應各類安全設備日志與網(wǎng)絡流信息，清洗歸并，進行對應規(guī)則判斷，以及分析建模。應用大數(shù)據(jù)，能夠快速而精確地供系統(tǒng)負責人查詢到需要的信息與上下文。監(jiān)控大數(shù)據(jù)，收集各類監(jiān)

2、控子系統(tǒng)詳細事件信息，清洗切分，供搜索與橫向規(guī)則判斷（規(guī)則引擎），并能做對應分析計算（如監(jiān)控基線）。,目錄 Table of Contents,系統(tǒng)技術(shù)架構(gòu)系統(tǒng)基礎(chǔ)平臺安全分析,3,運維分析應用分析成功案例,,系統(tǒng)技術(shù)架構(gòu),大數(shù)據(jù)安全運維一體化分析系統(tǒng),大數(shù)據(jù)安全運維一體化分析系統(tǒng)，是一款基于大數(shù)據(jù)、機器學習、模式識別等技術(shù)的企業(yè)級智能安全運維分析平臺，它具有海量數(shù)據(jù)采集、集中存儲、快速檢索、實時分析及告警、可視化展現(xiàn)和報告等功

3、能。為企業(yè)安全事件及異常行為檢測、安全態(tài)勢感知、運維管理和應用分析提供了一個智能、高效、可靈活擴展的解決方案。 本系統(tǒng)采用旁路快速檢測方式，是對現(xiàn)有安全運維體系的有效補充，亦可看做下一代的安全信息及事件管理系統(tǒng)和運維分析平臺，并可逐步替代現(xiàn)有分析系統(tǒng)。,技術(shù)架構(gòu),,系統(tǒng)基礎(chǔ)平臺,安全運維一體化系統(tǒng)提供完善的資產(chǎn)管理系統(tǒng)，為網(wǎng)絡中的所有資產(chǎn)建立安全檔案卡，資產(chǎn)信息包括以下信息：基礎(chǔ)信息：資產(chǎn)名稱、IP地址、所屬部門、安全域

4、、設備類型、地理位置、負責人等；安全屬性：可用性、完整性和保密性以及資產(chǎn)價值；弱點屬性：資產(chǎn)漏洞信息、安全配置信息等；,資產(chǎn)管理,數(shù)據(jù)采集范圍,,,網(wǎng)絡／安全設備、主機操作系統(tǒng)、數(shù)據(jù)庫、中間件、應用系統(tǒng)；,抽樣網(wǎng)絡流量：NetFlow信息；,全流量數(shù)據(jù)： 網(wǎng)絡全流量數(shù)據(jù)包；,日志,網(wǎng)絡流量,威脅情報,惡意域名和URL、惡意IP地址、DNS信息、木馬病毒信息（MD5/SHA-1）等；,內(nèi)部數(shù)據(jù),外部數(shù)據(jù),數(shù)據(jù)采集方案——日志,

5、,網(wǎng)絡設備,安全設備,數(shù)據(jù)庫,中間件,,Syslog/SNMP,,,數(shù)據(jù)庫JDBC,,,,日志采集模塊,,安裝Agent,,,,,,,主機操作系統(tǒng),應用系統(tǒng),,FTP/Kafka/HDFS,,,,,,,數(shù)據(jù)采集方案——網(wǎng)絡流量,,Hansight NC,,NC旁路連接并采集用戶端鏡像網(wǎng)絡數(shù)據(jù)：1、源IP，目標IP2、協(xié)議類型、端口號3、TCP會話狀態(tài)信息（建鏈、拆鏈、重傳等）4、報文尺寸與數(shù)量5、組包和解包6、報文內(nèi)容解析,

6、,,HanSight安全運維分析一體化系統(tǒng)的微服務構(gòu)架,HanSight安全運維分析系統(tǒng)的優(yōu)勢,基于特征庫／規(guī)則的應對場景比例變小，機器學習輔助成為必須以數(shù)據(jù)驅(qū)動安全，實現(xiàn)：數(shù)據(jù)全方位可見實時安全數(shù)據(jù)算法分析加人工輔助適合企業(yè)的安全運維一體化策略強大的底層存儲分析架構(gòu)和邏輯引擎,算法分析流程,適合安全分析的無監(jiān)督學習為主有人工輔助的半監(jiān)督學習 無監(jiān)督異常分析 － 人工確定異常 － 產(chǎn)生標記樣本 － 半監(jiān)督學習

7、,性能基準,入庫： > 30000EPS實測單獨入庫最高可接近20000EPS，為保證查詢性能，以當前配置可使其較穩(wěn)定運行查詢簡單查詢一天數(shù)據(jù)（~3億條）： < 1s簡單查詢七天數(shù)據(jù)（~25億條）：< 10s采集器性能單個采集器讀取文件：~20000EPS （多文件可并行處理）,,安全分析,大數(shù)據(jù)安全分析,,數(shù)據(jù),日志,NetFlow,全流量,威脅情報,資產(chǎn)信息,,實時數(shù)據(jù)檢測,關(guān)聯(lián)分析引擎,安全規(guī)則庫

8、,,歷史數(shù)據(jù)分析,交互分析,異常行為分析,,安全事件,網(wǎng)絡攻擊,木馬病毒,漏洞利用,非法訪問,……,,安全告警,高級,中級,低級,,全文檢索,可視化分析,統(tǒng)計分析,,數(shù)據(jù)建模,機器學習,數(shù)據(jù)泄露,病毒爆發(fā),登陸異常,溯源分析,威脅場景還原,戰(zhàn)損分析,處理措施,行為基線,圖分析,威脅情報,,,,安全威脅情報模塊,大數(shù)據(jù)安全管理平臺,安全威脅情報公有云,,,,威脅檢測請求,API調(diào)用,,結(jié)果返回,結(jié)果返回,,,安全威脅情

9、報私有云,大數(shù)據(jù)安全管理平臺,,,,數(shù)據(jù)擺渡,結(jié)果返回,安全威脅情更新工具,威脅檢測請求,辦公網(wǎng)環(huán)境,隔離網(wǎng)環(huán)境,實時關(guān)聯(lián)分析：大數(shù)據(jù)安全管理平臺通過基于Spark Streaming技術(shù)實現(xiàn)的強大的CEP引擎，對系統(tǒng)采集的實時數(shù)據(jù)流進行關(guān)聯(lián)分析。 關(guān)聯(lián)的模式包括統(tǒng)計關(guān)聯(lián)、資產(chǎn)關(guān)聯(lián)、情報關(guān)聯(lián)、模式關(guān)聯(lián)、漏洞關(guān)聯(lián)、策略關(guān)聯(lián)等；,實時數(shù)據(jù)分析-關(guān)聯(lián)分析,全文檢索：,歷史數(shù)據(jù)分析-交互分析,可視化分析：,統(tǒng)計分析：,歷史數(shù)據(jù)分

10、析-異常行為分析,UEBA：用戶／實體異常行為分析：以部門、個人、資產(chǎn)、資產(chǎn)群等為單位建立行為基線；關(guān)聯(lián)用戶與資產(chǎn)的行為；用機器學習算法或者預定義規(guī)則找出嚴重偏離基線的異常行為； 采用技術(shù)：機器學習／基線分析／圖分析：采用無監(jiān)督機器學習算法；計算結(jié)果易于可視化，便于理解；覆蓋整個一片安全事件，不是孤立的點；,機器學習：大數(shù)據(jù)管理平臺可建立特定的網(wǎng)絡威脅分析模型，定時的對網(wǎng)絡中的APT攻擊進行檢測分析，如僵尸網(wǎng)絡、低速掃描、

11、惡意URL分析等,機器學習,基線分析：企業(yè)內(nèi)用戶的行為模式，只要所屬部門和角色不變，就不會發(fā)生太大變化。服務器或者其他資源也類似。通過算法把變化幅度量化，數(shù)值超過基準過高的就是異常事件，而安全事件必然是從異常事件開始。,基線分析,如：三個分析維度：郵件、HTTP訪問量、登錄。每一個維度包括總量（柱寬度、維度值分布百分比），右邊是均值的對比。紅色代表異常。所以第一個圖表示此用戶郵件發(fā)給 wangjing@163.com 的數(shù)量（寬度）遠大

12、于當天同部門平均值。右邊代表其登錄失敗比例遠大于同部門平均值。,圖分析,列出單一某個時間段系統(tǒng)／用戶（2/1日8:00-9:00）的行為圖下一步的問題：2/1日8:00-9:00和平時8:00-9:00行為有何差異？和其他用戶2/1日8:00-9:00的差異？和整個一年的8:00和9:00行為有何差異？,,,安全場景（低速掃描）,威脅名稱：低速掃描數(shù)據(jù)輸入：防火墻日志檢測對象：重要服務器長周期通信模型,分析過程：用戶

13、自定義需要分析的服務器和周期；利用多變量時間序列聚類算法，把源IP按目的端口和目的IP的通訊行為聚合成多類，過濾無異常的類；一張圖上可視化每類的每天變化情況，用戶可精確定位到具體IP、目的端口、時間；,實際效果：作為用戶每天基本運維的內(nèi)容；每個月發(fā)現(xiàn)約1～2起低速掃描事件；,安全場景（撞庫攻擊）,威脅名稱：撞庫攻擊數(shù)據(jù)輸入：網(wǎng)銀應用系統(tǒng)訪問日志檢測對象：網(wǎng)銀近400個敏感 URL，涵蓋注冊、登錄、密碼重置等,分析過程：用戶

14、自定義需要分析的URL；對這些URL建立ARIMA模型；每天入庫信息與模型比對；與模型不匹配則產(chǎn)生預警信息；用戶根據(jù)預警進一步確認；,實際效果：作為用戶每天基本運維的內(nèi)容；目前預警頻次約2~3次/周；已幫用戶發(fā)現(xiàn)及溯源超過20次的風險；,安全場景（賬號異常）,挑戰(zhàn)：隨著移動辦公和BYOD的普及，企業(yè)越來越難從正常的行為找出被盜用的賬號行為。HanSight解決方法HanSight Enterprise自動建立特定用戶

15、的畫像，包括他的合法行為白名單和行為基線用戶行為分析引擎?zhèn)蓽y用戶的異常行為，例如從可疑位置登錄，或是訪問和平時完全不同的數(shù)據(jù)或數(shù)據(jù)量，或是把數(shù)據(jù)上傳至公司外部的可疑地址系統(tǒng)可以提供該用戶最近的所有行為給安全管理員進行進一步的詳細調(diào)查,安全場景（關(guān)聯(lián) URL 訪問統(tǒng)計和基線）,,,,,,,,安全場景（奇異值及請求來源分析）,,,安全場景（訪問時間線分析）,,,,,,,運維分析,監(jiān)控大數(shù)據(jù),監(jiān)控分為系統(tǒng)級、應用級、業(yè)務邏輯系統(tǒng)級： 硬

16、件和網(wǎng)絡狀況應用級： 應用軟件的健康情況業(yè)務邏輯：業(yè)務功能和時間延遲,系統(tǒng)級監(jiān)控,采集端采集SNMP數(shù)據(jù)系統(tǒng)日志流量數(shù)據(jù)主動探測現(xiàn)有IT監(jiān)控系統(tǒng)如： zabbix, nagios,系統(tǒng)級監(jiān)控展示（設備狀態(tài)）,系統(tǒng)級監(jiān)控展示（網(wǎng)絡狀態(tài)）,分析告警,單數(shù)據(jù)源簡單規(guī)則，通過對每次最新的監(jiān)控數(shù)據(jù)進行閾值比較上下限閾值比較數(shù)據(jù)存活性比較單數(shù)據(jù)源組合規(guī)則，對簡單規(guī)則的結(jié)果進行進一步的處理，來減少告警量多次告警，當觸發(fā)的事件在一

17、段時間內(nèi)超過一定的次數(shù)時告警冷卻，當同一告警多次出現(xiàn)時，進行相應的冷處理。 變化告警，當監(jiān)控數(shù)據(jù)與前一時間點差別很大時，進行告警。 多數(shù)據(jù)源組合規(guī)則，對多個數(shù)據(jù)源進行計算后獲得： 基線告警，當數(shù)據(jù)與基線數(shù)據(jù)差別較大時，進行相應的告警組合運算，可以計算比例超過／低于閾值后告警,基線計算規(guī)則,基線算法以周為單位，尋找前三周相同時間點為采樣數(shù)據(jù)，計算當前時間點的基線。具體算法為：以當前計算時間點為基準，分別向前倒退7天（一周），1

18、4天（二周），21天（三周），可以得到三個時間節(jié)點: A1, A2, A3；以每一個新時間節(jié)點（A1-A3）為基準，分別倒退36小時（A-36h），推前12小時（A+12h），這樣將得到一個48小時的區(qū)間（B0-B39）在這48小時時間區(qū)間內(nèi)，再以每一個小時為時間區(qū)間，取48個采樣值，例如交易量基線，則計算每小時交易量的總量數(shù)據(jù)作為該小時內(nèi)的采樣值通過計算A1-A3的采樣值，總計可以獲取 4

19、8*3=144個采樣值計算這144個采樣值的均值：V 與方差 ：S最后通過配置浮動系數(shù)(α)，求得基線數(shù)據(jù)：V+αS,,應用分析,應用分析大數(shù)據(jù),應用分析根據(jù)來源可以分為日志數(shù)據(jù)分析和網(wǎng)絡解包分析日志數(shù)據(jù)分析： 分析應用提供的日志數(shù)據(jù)，優(yōu)點是準確，易于擴展，缺點是需要應用支持和部署略復雜網(wǎng)絡解包分析： 分析網(wǎng)絡流量中的用戶數(shù)據(jù)，優(yōu)點是對業(yè)務無影響，缺點是開發(fā)比較復雜,數(shù)據(jù)全文檢索/條件檢索,核心SOP交易數(shù)據(jù)

20、分析（交易返回碼和交易量分析）,核心SOP交易數(shù)據(jù)分析（交易成功率分析）,第一步：建立數(shù)據(jù)模型,第二步：發(fā)現(xiàn)可疑號碼,第三步：鉆取關(guān)聯(lián)分析,黑洞模型：賬戶大量轉(zhuǎn)入交易,火山模型：賬戶大量轉(zhuǎn)出交易,業(yè)務場景分析 （反欺詐）,威脅名稱：盜用身份證開戶及資金轉(zhuǎn)入轉(zhuǎn)出異常數(shù)據(jù)輸入：網(wǎng)銀應用系統(tǒng)日志檢測對象：網(wǎng)銀資金交易用戶,分析過程：自定義分析的網(wǎng)銀交易日志周期；將海量用戶手機號、賬戶號和身份證號碼進行關(guān)聯(lián)并可視化展示；發(fā)現(xiàn)盜用大量身

21、份證頻繁開戶的用戶；進一步鉆取分析，查看到可疑的用戶手機號及所有相關(guān)的賬戶和身份證號；同時發(fā)現(xiàn)相關(guān)賬戶有金融業(yè)務風險中的“火山”和“黑洞”情況出現(xiàn)；,實際效果：作為用戶每天基本運維的內(nèi)容；已幫用戶發(fā)現(xiàn)多起賬戶異常交易行為；,分析告警,單數(shù)據(jù)源簡單規(guī)則，通過對每次最新的監(jiān)控數(shù)據(jù)進行閾值比較上下限閾值比較數(shù)據(jù)存活性比較單數(shù)據(jù)源組合規(guī)則，對簡單規(guī)則的結(jié)果進行進一步的處理，來減少告警量多次告警，當觸發(fā)的事件在一段時間內(nèi)超過一定的次

22、數(shù)時告警冷卻，當同一告警多次出現(xiàn)時，進行相應的冷處理。 變化告警，當監(jiān)控數(shù)據(jù)與前一時間點差別很大時，進行告警。 多數(shù)據(jù)源組合規(guī)則，對多個數(shù)據(jù)源進行計算后獲得： 基線告警，當數(shù)據(jù)與基線數(shù)據(jù)差別較大時，進行相應的告警組合運算，可以計算比例超過／低于閾值后告警,,成功案例,某商業(yè)銀行大數(shù)據(jù)分析案例,“網(wǎng)上銀行系統(tǒng)”作為某商業(yè)銀行最為重要的業(yè)務系統(tǒng)，每天都會產(chǎn)生大量日志，遺憾的是由于處理能力所限， 銀行現(xiàn)有HP ArcSight系統(tǒng)只

23、能處理10小時內(nèi)產(chǎn)生的日志。從而造成銀行無法對這些日志進行長周期、大數(shù)據(jù)量的關(guān)聯(lián)分析，進而發(fā)現(xiàn)潛在的威脅。銀行急需一個大數(shù)據(jù)安全分析平臺，以便對包括網(wǎng)銀日志及SIEM系統(tǒng)事件進行長周期集中保存，并進行關(guān)聯(lián)分析，從長遠上，可以對留存的日志及事件進行關(guān)聯(lián)并做長周期的分析，以便找到安全隱患。,網(wǎng)銀日志每天新增800GB，因ArcSight處理能力所限，只能存儲分析最近10小時數(shù)據(jù)；已部署的WAF 和ArcSight基于特征碼或規(guī)則進行檢測，

24、缺少對未知威脅和異常行為分析手段；大量安全事件處理效率低，安全問題快速發(fā)現(xiàn)及溯源難；,項目背景：,客戶現(xiàn)狀：,項目需求及階段性實現(xiàn),大數(shù)據(jù)平臺搭建IIS／ Apache日志采集分析數(shù)據(jù)源入庫規(guī)整化全文檢索數(shù)據(jù)可視化數(shù)據(jù)長周期留存搜索準實時響應性能調(diào)優(yōu)平臺監(jiān)控,異常行為建模定制化圖表需求TOP X HistogramTerm AggsMonitoring運維 UI 定制,ArcSight事件數(shù)據(jù)收集及關(guān)聯(lián)分析