基于粗糙集和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類(lèi)技術(shù)研究.pdf

1、隨著信息技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的飛速發(fā)展，人們可以非常容易地獲取和存儲(chǔ)海量數(shù)據(jù)，然而要從海量數(shù)據(jù)中提取出有用信息卻很困難。數(shù)據(jù)分類(lèi)作為一種重要的數(shù)據(jù)分析技術(shù)，可以用于提取描述重要數(shù)據(jù)類(lèi)的模型和預(yù)測(cè)未來(lái)的數(shù)據(jù)趨勢(shì)，幫助人們擺脫“數(shù)據(jù)豐富，知識(shí)貧乏”的困境。入侵檢測(cè)和文本分類(lèi)都屬于數(shù)據(jù)分類(lèi)的范疇，入侵檢測(cè)是根據(jù)網(wǎng)絡(luò)數(shù)據(jù)或主機(jī)數(shù)據(jù)的特征來(lái)判別該數(shù)據(jù)代表的行為屬于哪種類(lèi)型，而文本分類(lèi)是根據(jù)文檔特征識(shí)別出其所屬的文檔類(lèi)別。 粗糙集理論是一種處理

2、不精確、不完整和不確定性問(wèn)題的數(shù)學(xué)工具，通過(guò)屬性約簡(jiǎn)能有效地消除冗余信息，抽取分類(lèi)規(guī)則；而神經(jīng)網(wǎng)絡(luò)也由于具有分類(lèi)精度高，魯棒性強(qiáng)等顯著優(yōu)點(diǎn)。因此，近年來(lái)它們都被廣泛地應(yīng)用于數(shù)據(jù)分類(lèi)。但是，面對(duì)大規(guī)模的高維數(shù)據(jù)分類(lèi)問(wèn)題如入侵檢測(cè)和文本分類(lèi)等，基于粗糙集的分類(lèi)容錯(cuò)性差、泛化能力弱；而神經(jīng)網(wǎng)絡(luò)作為分類(lèi)器存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練時(shí)間過(guò)長(zhǎng)等缺陷。如何將粗糙集和神經(jīng)網(wǎng)絡(luò)有機(jī)地結(jié)合起來(lái)，并針對(duì)入侵檢測(cè)和文本分類(lèi)各自的領(lǐng)域特點(diǎn)進(jìn)行有效地運(yùn)用是本文的研究?jī)?nèi)

3、容。 針對(duì)入侵檢測(cè)數(shù)據(jù)存在維數(shù)大、冗余度高及噪聲數(shù)據(jù)多等缺陷，給出了一種基于粗糙集和神經(jīng)網(wǎng)絡(luò)的層次入侵檢測(cè)模型。該模型用粗糙集對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以降低維度，以多個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成的層次分類(lèi)器克服單個(gè)神經(jīng)網(wǎng)絡(luò)分類(lèi)器的“穩(wěn)定性/可塑性”二難問(wèn)題。針對(duì)文本分類(lèi)中的兩個(gè)關(guān)鍵技術(shù)——權(quán)值計(jì)算和特征提取，給出在文本預(yù)處理階段基于特征詞類(lèi)別分布差異進(jìn)行特征過(guò)濾，并引入類(lèi)別文檔頻數(shù)改進(jìn)TFIDF公式，給出了一種基于可變精度粗糙理論的特征選擇方法，進(jìn)一