基于模糊邏輯和神經網絡的數(shù)據及文本挖掘的方法研究.pdf

1、數(shù)據挖掘和文本挖掘是當前信息技術中的一個重要研究領域； 將模糊邏輯理論應用于數(shù)據及文本挖掘方法研究,具有較大的理論意義和實用價值.本文研究了基于模糊邏輯和神經網絡的數(shù)據挖掘和文本挖掘方法,所做主要工作內容包括: 采用自組織特征映射(SOFM)網絡來自動確定樣本數(shù)據隸屬函數(shù),并根據相似性的概念,給出了相似度的計算公式,結合Apriori算法,提出了一種挖掘模糊相似關聯(lián)規(guī)則的新算法. 針對傳統(tǒng)的模糊聚類需要預先確定聚

2、類數(shù)的問題,提出一種新的動態(tài)模糊聚類的方法.該方法采用動態(tài)自組織映射神經網絡來確定聚類數(shù).,并通過文本向量空間模型和TF·IDF方法來確定文本的特征向量,再將動態(tài)自組織映射神經網絡得到的聚類數(shù),用模糊C均值算法(FCM)函數(shù)處理,得到聚類的結果.本算法具有聚類精度高的優(yōu)點,模糊聚類更適合處理語義的多樣性和文本歸屬的模糊性的問題. 提出了一種新的動態(tài)模糊自組織神經網絡模型(DFKCN),并將其用于文本聚類中.針對傳統(tǒng)模糊自組織神經

3、網絡需要預先確定聚類數(shù)的問題, DFKCN采用了可自動確定聚類數(shù)的動態(tài)自組織神經網絡(TGSOM)的結構,在DFKCN網絡結構中提出新的學習率計算公式,并以模糊聚類中心作為DFKCN網絡中對應的神經元的權值,從而提高了聚類的精度,并可提高收斂速度.將DFKCN模型應用到中文文本聚類中,文本的特征向量的表示采用隱含語義分析理論,以體現(xiàn)特征詞的語義關系并實現(xiàn)特征詞的降維. 提出了一種新的模糊競爭神經網絡聚類模型(NFCNNC),并將

4、其應用到文本聚類中.NFCNNC將模糊中心聚類(FCC)算法得到的模糊聚類中心向量作為神經網絡的權值,獲勝神經元通過比較隸屬度值得到.按照FCC算法調整模糊聚類中心向量值(即權值)和神經元的隸屬度,當網絡穩(wěn)定時,即可確定聚類數(shù).NFCNNC具有結構簡單,運行效率高,聚類精度高的優(yōu)點,同時克服了傳統(tǒng)算法需預先指定聚類數(shù)的局限性. 提出一種新的模糊文本關聯(lián)規(guī)則挖掘算法(NFAR)和文本關鍵字的獲得方法,當文本集中存在大量文本,傳統(tǒng)的

5、模糊關聯(lián)規(guī)則中的支持度的計算公式不再適用,因而提出新的支持度計算公式.通常用的關聯(lián)規(guī)則在涉及語義問題時,會有冗余規(guī)則,隸屬函數(shù)是預先指定的,引入模糊聚類可克服上述問題:根據TF IDF首先計算文本特征詞的權重,然后計算文本的平均權重作為閾值,權重大于閾值的特征詞作為該文本的關鍵字,將關鍵字的權重劃分成三個屬性:高、中、低.利用模糊c均值對關鍵詞的權重進行聚類.再出NFAR算法抽取出文本關聯(lián)規(guī)則.NFAR算法具有運算效率高,規(guī)則的精度高的