基于遺傳算法與模糊聚類的網(wǎng)絡(luò)信息過濾系統(tǒng)的研究.pdf

1、隨著Internet的發(fā)展和應(yīng)用，越來越多的商務(wù)、日?；顒油ㄟ^Internet進(jìn)行，網(wǎng)絡(luò)與人們的生活越來越緊密。然而，網(wǎng)絡(luò)是雙面的，人們在享受網(wǎng)絡(luò)所帶來便利的同時，不可避免地接觸到大量不良信息；另外，基于Internet所固有的開放性、動態(tài)性和異構(gòu)性，用戶很難準(zhǔn)確快捷地從Internet上獲取所需信息。這就需要在浩如煙海的動態(tài)信息中過濾掉不符合用戶信息需求的有害、無用信息，把不相關(guān)信息減至最少。因此，網(wǎng)絡(luò)信息過濾技術(shù)已經(jīng)成為當(dāng)前研究的熱

2、點(diǎn)之一。 如何獲得用戶的興趣模板，并依據(jù)模板對過濾文檔分類，是網(wǎng)絡(luò)信息過濾中的關(guān)鍵技術(shù)。目前常采用文本分類中的相關(guān)技術(shù)來實(shí)現(xiàn)，如：Rocchio、K-元最近鄰居、貝葉斯、支持向量機(jī)以及遺傳算法(GA)等方法。GA在網(wǎng)絡(luò)信息過濾中的應(yīng)用主要是為了獲得用戶的興趣模板，其效果與適應(yīng)度函數(shù)相關(guān)。當(dāng)前的適應(yīng)度函數(shù)多采用以求個體相似度為基礎(chǔ)的方法對種群進(jìn)行評價。這種方法在評價時，重點(diǎn)在種群個體的相似程度評估上，沒有對個體的類別屬性進(jìn)行評價，

3、也沒有考慮到特征的典型性及特征包含的類別信息方面的內(nèi)容，所以獲得的用戶模型在過濾時效果不是很理想。 1965年，Zadeh提出模糊集理論之后，人們開始用模糊的方法來處理聚類問題，并稱之為模糊聚類分析。由于模糊聚類得到了樣本屬于各個類別的不確定性程度，表達(dá)了樣本類屬的中介性，即建立起了樣本對于類別的不確定性描述，能更客觀地反映現(xiàn)實(shí)世界。因此，在基于遺傳算法的信息過濾中，引入模糊聚類技術(shù)來評價，能夠更多的考慮到各特征項所屬類別的非絕

4、對性、特征的典型性及所包含的類別信息，從種群個體的類別屬性上進(jìn)行評價，從而可獲得更準(zhǔn)確的用戶興趣模板。 本文在遺傳算法中引入了模糊聚類的思想，從模糊聚類的角度對基于GA的信息過濾系統(tǒng)中種群個體進(jìn)行評價，提出一個基于模糊聚類的遺傳算法，然后將該算法應(yīng)用于信息過濾中，實(shí)現(xiàn)了基于遺傳算法與模糊聚類的信息過濾系統(tǒng)。最后，在該系統(tǒng)中對其有效性進(jìn)行了驗(yàn)證。本文具體工作如下： 1.將模糊聚類技術(shù)融入遺傳算法，對個體進(jìn)行評價。在計算適應(yīng)

5、度之前，先采用個體所選擇的特征子集將訓(xùn)練文本表示成向量，然后采用模糊相似矩陣直接聚類法對其聚類，最后根據(jù)聚類的效果來計算適應(yīng)度。這種評價方法從個體對文本類別的判定能力方面評價個體，更多的考慮到特征的典型性及所包含的類別信息方面的內(nèi)容。 2.提高了算法的抗干擾性。適應(yīng)度函數(shù)通過對模糊聚類結(jié)果的正確率和緊湊程度兩個方面評價的綜合來計算適應(yīng)度值。該函數(shù)設(shè)置了一個w參數(shù)。調(diào)整w的取值，可以降低適應(yīng)度函數(shù)對訓(xùn)練文本集中干擾文本的敏感程度，