分布式聚類及其在入侵檢測中的應(yīng)用研究.pdf

1、聚類分析是數(shù)據(jù)挖掘領(lǐng)域的一項重要研究內(nèi)容，它在金融、電信、保險業(yè)、市場營銷、異常檢測、網(wǎng)絡(luò)安全、科學(xué)決策等方面具有十分重要的應(yīng)用價值，因此受到研究人員的高度重視。已有的聚類算法大多只適用于集中式數(shù)據(jù)的聚類。由于網(wǎng)絡(luò)帶寬、站點(diǎn)存儲量、信息安全及隱私保護(hù)等限制，把不同站點(diǎn)的數(shù)據(jù)全部集中到某一個中心站點(diǎn)進(jìn)行全局聚類幾乎是不可能的。所有站點(diǎn)數(shù)據(jù)集中在一起，數(shù)據(jù)量會非常龐大，聚類效率會顯著降低。本文對分布式聚類方法作了一些較深入的研究，取得了如下

2、成果： 1.提出了高效的分布式k均值聚類方法DK-Means。該方法在站點(diǎn)間只傳送少量聚簇信息，有效降低了分布式聚類過程中的數(shù)據(jù)通信量，并能達(dá)到與k均值算法等效的聚類質(zhì)量。理論分析及實(shí)驗結(jié)果表明，DK-Means是一種有效可行的分布式聚類算法，對于高維數(shù)據(jù)集同樣有效。 2.針對聚類數(shù)目難以確定的問題，提出了分布式聚類方法α-DK-Means，通過分割和合并聚簇將訓(xùn)練數(shù)據(jù)集劃分成適當(dāng)數(shù)目的聚簇而不必預(yù)設(shè)聚簇半徑。實(shí)驗結(jié)果表

3、明，該方法是有效可行的。 3.針對基于密度的分布式聚類算法DBDC通信量大、效率低的缺點(diǎn)，提出了一種基于密度的分布式聚類方法DBDC*。有效降低了分布式聚類過程中的數(shù)據(jù)通信量，全局聚類時綜合考慮了各站點(diǎn)數(shù)據(jù)的分布情況，能夠?qū)θ我庑螤罘植嫉臄?shù)據(jù)進(jìn)行聚類。實(shí)驗結(jié)果表明，該方法是有效可行的，對于高維數(shù)據(jù)集同樣有效。 4.提出了一種適用于入侵檢測的數(shù)據(jù)預(yù)處理方法，定義了類別型屬性各取值之間的差異度，使得在對訓(xùn)練集進(jìn)行無監(jiān)督學(xué)習(xí)生

4、成檢測模型過程中，能夠同時有效地處理數(shù)值型屬性和類別型屬性。理論分析表明，我們所定義的類別型屬性值差異度既保留了類別型屬性各取值之間的本質(zhì)特征，同時也沒有改變數(shù)據(jù)集的原始維數(shù)。實(shí)驗結(jié)果表明，采用該數(shù)據(jù)預(yù)處理方法進(jìn)行聚類所建立的入侵檢測模型能更有效的檢測攻擊。 5.提出了一種基于分布式聚類的異常入侵檢測方法ID-DC，該方法建立在一種無中心的多Agent分布式體系結(jié)構(gòu)之上，通過對訓(xùn)練集進(jìn)行分布式聚類產(chǎn)生聚簇模型，采用基于雙參考點(diǎn)的