基于行為特征的惡意程序動(dòng)態(tài)分析與檢測方法研究.pdf

1、惡意程序是計(jì)算機(jī)系統(tǒng)面臨的首要威脅，代碼混淆的流行，惡意程序自動(dòng)生成器在互聯(lián)網(wǎng)上肆意傳播，都造成了變種及未知惡意程序呈爆炸式增長，極大地挑戰(zhàn)著傳統(tǒng)基于靜態(tài)特征碼的惡意程序檢測方法。為了對抗惡意程序威脅，研究者提出了基于行為特征的惡意程序檢測。基于行為特征的惡意程序檢測包括三個(gè)環(huán)節(jié)：行為數(shù)據(jù)采集，行為特征抽象，以及行為檢測算法設(shè)計(jì)。這三個(gè)環(huán)節(jié)相輔相成，共同保證了惡意程序檢測的準(zhǔn)確率。本論文圍繞這三個(gè)環(huán)節(jié)，對基于行為特征的惡意程序檢測問題進(jìn)

2、行了深入的研究，主要取得了以下研究成果。
　　1.在行為數(shù)據(jù)采集研究中，設(shè)計(jì)并實(shí)現(xiàn)了虛擬機(jī)監(jiān)控器層的程序行為監(jiān)控系統(tǒng)Osiris，解決了虛擬機(jī)監(jiān)控器與客戶操作系統(tǒng)之間的語義缺口問題。Osiris系統(tǒng)采用開源模擬器 Qemu作為虛擬執(zhí)行組件，程序行為監(jiān)控全部實(shí)現(xiàn)于虛擬機(jī)系統(tǒng)中有著最高特權(quán)等級的虛擬機(jī)監(jiān)控器層，因此，惡意程序難以逃避分析。通過向開源模擬器Qemu的CPU模擬例程中加入API監(jiān)控框架，Osiris系統(tǒng)能夠?qū)Ρ环治龀绦虬l(fā)起

3、的API調(diào)用進(jìn)行監(jiān)控；同時(shí)，Osiris系統(tǒng)采用雙虛擬機(jī)體系結(jié)構(gòu)對惡意程序運(yùn)行所需的網(wǎng)絡(luò)運(yùn)行環(huán)境，以及常見主機(jī)事件進(jìn)行模擬，能夠最大限度激發(fā)惡意程序的潛伏行為。實(shí)驗(yàn)表明，Osiris系統(tǒng)是一種新型惡意程序行為分析工具，為后續(xù)行為檢測打下了良好的數(shù)據(jù)基礎(chǔ)。
　　2.在程序行為特征抽象研究中，提出了安全敏感最小行為特征以及相應(yīng)的行為抽象算法。一個(gè)API的輸出參數(shù)或是返回值會(huì)成為另一個(gè)API的輸入?yún)?shù)，API之間存在數(shù)據(jù)依賴關(guān)系，這是一

4、種相對穩(wěn)定的程序行為特征。論文提出以操作系統(tǒng)敏感資源為中心，對API調(diào)用按照數(shù)據(jù)依賴關(guān)系進(jìn)行較低等級聚合，并對API參數(shù)進(jìn)行抽象描述，最終從 API調(diào)用序列中抽象出被分析程序?qū)Π踩舾械牟僮飨到y(tǒng)資源進(jìn)行操作的模式，也就是安全敏感最小行為序列，并嵌入到高維特征向量空間作為后續(xù)行為檢測算法的輸入。程序相似性比較，聚類以及分類實(shí)驗(yàn)都驗(yàn)證了安全敏感最小行為能夠有效刻畫惡意程序的特征行為。
　　3.提出了靜態(tài)分析特征與動(dòng)態(tài)分析特征相結(jié)合的惡

5、意程序檢測思路。同時(shí)設(shè)計(jì)了基于Totally Corrective Boosting思想的特征選擇算法BoostFS，將用于解決分類問題的Boosting算法擴(kuò)展到特征選擇問題。BoosFS算法使用Decision Stump作為子分類器，每一輪迭代 BoostFS算法尋找的子分類器其分類結(jié)果向量與所有已生成子分類器的分類結(jié)果向量盡可能正交。由于 Decision Stump是僅含有一個(gè)結(jié)點(diǎn)的決策樹，一個(gè)訓(xùn)練好的Decision Stu

6、mp又相當(dāng)于一個(gè)篩選出的特征，所有生成的子分類器恰相當(dāng)于一個(gè)篩選出的特征子集，并且這些特征盡可能不相關(guān)。
　　4.惡意程序檢測是一個(gè)典型的代價(jià)敏感學(xué)習(xí)問題。在這一問題背景下，論文嚴(yán)格遵循Boosting理論框架，首先對AdaBoost算法使用的分類間隔的指數(shù)損失函數(shù)，以及LogitBoost算法使用的Logit損失函數(shù)進(jìn)行代價(jià)敏感改造，然后使用函數(shù)空間梯度下降優(yōu)化方法推導(dǎo)代價(jià)敏感的AsyB和AsyBL算法?？梢宰C明，AsyB和As

7、yBL算法在極限情況下，收斂到最優(yōu)的代價(jià)敏感貝葉斯決策。論文同時(shí)利用Newman-Person決策準(zhǔn)則解決惡意程序檢測問題中如何確定代價(jià)因子的問題。
　　5.對噪聲數(shù)據(jù)敏感是AdaBoost算法廣為人知的特性之一。在惡意程序行為檢測問題中，由于惡意程序常具有潛伏行為，或是被分析程序?yàn)槌浞謭?zhí)行等原因，程序行為數(shù)據(jù)中常常含有噪聲數(shù)據(jù)。針對這一問題，論文嚴(yán)格遵循 Boosting理論框架設(shè)計(jì)了抗噪聲能力更好的RBoost算法。首先，RB

8、oost算法優(yōu)化非凸的Savage2損失函數(shù)。由于 Savage2損失函數(shù)不會(huì)無限懲罰分類間隔很大的錯(cuò)分類樣本，因此，對始終難以正確分類的噪聲數(shù)據(jù)敏感性更低。在此基礎(chǔ)上，RBoost算法進(jìn)一步使用兩種數(shù)值計(jì)算穩(wěn)定性更好的每一輪迭代的最優(yōu)子分類器。以上兩個(gè)步驟共同保證了RBoost算法在訓(xùn)練和測試樣本集含有噪聲情況下學(xué)習(xí)的穩(wěn)定性。實(shí)驗(yàn)表明在有噪聲情況下，與 AdaBoost以及 GentleBoost，LogitBoost，SavageB