分布式環(huán)境下數(shù)據(jù)挖掘分類算法研究.pdf

1、分類規(guī)則的挖掘是數(shù)據(jù)挖掘研究領(lǐng)域的一個重要問題，而傳統(tǒng)的數(shù)據(jù)挖掘算法和模式主要采用集中式，這不僅要求有高速的數(shù)據(jù)通信網(wǎng)絡(luò)，還會導(dǎo)致響應(yīng)時間延長以及使數(shù)據(jù)的私有性和安全性遭受破壞，不適合分布式環(huán)境下的數(shù)據(jù)模式挖掘。因此本文主要從分布式的角度出發(fā)，針對分類知識的理論和方法進(jìn)行了深入研究，提出了有效的挖掘算法。 本文首先提出了一種采用縱向劃分?jǐn)?shù)據(jù)集和同步更新哈希表技術(shù)來建立異構(gòu)分布式環(huán)境下分類決策樹的算法DSPRINT，以及采用區(qū)間分

2、割和區(qū)間篩選技術(shù)的DSPRINT改進(jìn)算法。DSPRINT算法采用屬性直方圖的數(shù)據(jù)結(jié)構(gòu)，將類別列表合并到每個屬性列表當(dāng)中，減少了需要駐留于內(nèi)存的數(shù)據(jù)量。DSPRINT算法還采用縱向劃分?jǐn)?shù)據(jù)集和同步更新哈希表的策略，根據(jù)最小gini值選出可以用來更新的哈希表項(xiàng)，對其相應(yīng)條目進(jìn)行修改，利用哈希表來記錄并控制各分站點(diǎn)的節(jié)點(diǎn)分裂情況，具有較高的準(zhǔn)確率。針對DSPRINT算法處理連續(xù)值屬性效率較低的缺點(diǎn)，還將DSPRINT算法進(jìn)行了改進(jìn)，采用區(qū)間評

3、估和區(qū)間篩選的思想，通過取樣將連續(xù)值屬性的值域劃分成多個區(qū)間，估計(jì)在各個區(qū)間上有無找到最佳分割點(diǎn)的可能，最后在可能找到最佳分割點(diǎn)的區(qū)間中逐一搜索，有效地提高了算法的工作效率。對比實(shí)驗(yàn)表明，當(dāng)選取合適的區(qū)間數(shù)時改進(jìn)算法和DSPRINT算法在分類準(zhǔn)確率上相同；另外，當(dāng)分站點(diǎn)數(shù)目逐漸增多時，兩種算法均可以獲得較高、穩(wěn)定的準(zhǔn)確率，且改進(jìn)算法在處理連續(xù)值屬性時的計(jì)算效率要比DSPRINT算法更高。 另外，針對分布式環(huán)境中滿足單調(diào)性約束條件

4、的分類問題，本文將R.Potharst提出的建立單調(diào)性決策樹的思想在分布式環(huán)境中進(jìn)行拓展，對DSPRINT算法進(jìn)行補(bǔ)充，增加了修改規(guī)則Update，將生成的非單調(diào)性決策樹修正為單調(diào)性。使無需隨時增加各個分站點(diǎn)數(shù)據(jù)集數(shù)目，僅插入少量數(shù)據(jù)項(xiàng)，通過分裂一些葉節(jié)點(diǎn)，增加少量分枝即可實(shí)現(xiàn)決策樹單調(diào)化。 本文進(jìn)一步針對常規(guī)分布式數(shù)據(jù)挖掘系統(tǒng)存在的數(shù)據(jù)分塊、結(jié)果集成、安全性等問題，提出將移動代理技術(shù)和數(shù)據(jù)挖掘技術(shù)相結(jié)合，利用Mobile Ag