基于重構(gòu)變異算子遺傳算法的文本信息過(guò)濾研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)出幾何倍增的趨勢(shì)。海量信息在給人們生活帶來(lái)便利的同時(shí)，也導(dǎo)致了一系列問(wèn)題：如數(shù)據(jù)的檢索和查找變得更復(fù)雜；垃圾短信、不良信息的識(shí)別、過(guò)濾以及屏蔽變得更難實(shí)現(xiàn)等。信息過(guò)濾（Information Filtering，IF)技術(shù)在面對(duì)復(fù)雜的網(wǎng)絡(luò)環(huán)境中應(yīng)運(yùn)而生。通過(guò)對(duì)網(wǎng)頁(yè)中無(wú)關(guān)、不良信息的過(guò)濾，使用戶能更快速、準(zhǔn)確的得到所需信息，從而提高信息搜索的效率和準(zhǔn)確率。
　　本文在提出純度基尼指數(shù)的基礎(chǔ)上，對(duì)

2、文本預(yù)處理算法進(jìn)行研究，并提出了重構(gòu)變異算子遺傳算法。結(jié)合純度基尼指數(shù)在文本信息預(yù)處理中的應(yīng)用，將重構(gòu)變異算子遺傳算法應(yīng)用于文本信息過(guò)濾，提高了文本信息過(guò)濾中用戶類別模板的過(guò)濾精度。取得的主要成果有：
　　1．提出了基于純度原理基尼指數(shù)的文本特征選擇方法
　　文本信息預(yù)處理是文本信息過(guò)濾前期的準(zhǔn)備工作，文本的特征選擇是信息預(yù)處理的關(guān)鍵，特征選擇的目的是選出最能代表文檔特征的特征詞作為特征空間維數(shù)。本文針對(duì)于傳統(tǒng)基尼指數(shù)在文本

3、信息預(yù)處理上的缺點(diǎn)進(jìn)行了改進(jìn)，并將其應(yīng)用于文本的特征選擇中，降低了原始文本的空間維數(shù)、減小了時(shí)間復(fù)雜度，提高了分類器的分類精度。
　　2．基于重構(gòu)變異算子遺傳算法的提出并應(yīng)用于文本信息過(guò)濾
　　重構(gòu)變異算子遺傳算法用來(lái)平衡交叉算子與變異算子的地位，進(jìn)而優(yōu)化用戶模板。對(duì)四個(gè)類別進(jìn)行過(guò)濾精度對(duì)比實(shí)驗(yàn)，結(jié)果表明：基于重構(gòu)變異算子遺傳算法能更好地應(yīng)用于文本信息過(guò)濾。
　　最后設(shè)計(jì)并實(shí)現(xiàn)了基于重構(gòu)變異算子遺傳算法的互聯(lián)網(wǎng)文本信息