模糊遺傳算法及其在網絡信息過濾系統(tǒng)中的應用研究.pdf

1、隨著網絡信息數(shù)量在互聯(lián)網上日益龐大，對于網絡信息質量的要求也越來越高，越來越多探索網絡信息過濾的新技術正在逐步的發(fā)展中，由于網絡信息動態(tài)性極強，而這些動態(tài)性主要表現(xiàn)在網頁內容的增減和鏈接地址的動態(tài)變化上，因此網絡信息內容過濾主要針對網頁上的動態(tài)信息流，在處理大量的冗余信息數(shù)據時，還要滿足用戶對動態(tài)信息的需求量，過濾用戶不感興趣的信息，網絡信息過濾系統(tǒng)就是從動態(tài)的數(shù)據流中收集或去掉某些文本信息。開發(fā)出一種網絡信息過濾系統(tǒng)其目的主要在于過濾

2、網絡上的不良信息，這是其過濾系統(tǒng)的主要功能，過濾內容主要體現(xiàn)在色情、暴力、犯罪等不良信息。
　　在本課題中，根據基于傳統(tǒng)遺傳算法的網絡信息過濾系統(tǒng)中提出了一種新的算法，即模糊遺傳算法。模糊遺傳算法是根據網絡信息過濾系統(tǒng)中存在的不確定因素，包括參數(shù)，權重等因素的調整，在傳統(tǒng)遺傳算法優(yōu)化的基礎上，分析文檔訓練集的特點，提高文本分類的性能，加入模糊方法調整參數(shù)值和權重，使得這些因素能夠隨著系統(tǒng)環(huán)境的變化而變化，模糊遺傳算法研究理論具體體

3、現(xiàn)在以下四個方面:
　　1、充分分析網絡信息過濾模型
　　網絡信息過濾系統(tǒng)結構主要體現(xiàn)在數(shù)據包捕獲、特征選擇、優(yōu)化算法、分類算法上，對該系統(tǒng)每一部分的關鍵技術進行理論分析，分析其優(yōu)缺點，提出改進方法，充分提高網絡信息過濾效果。
　　2、文檔訓練集處理技術
　　在以往對文檔集的處理上，通常是將語料中的訓練文本平等對待，沒有考慮到各個文本所起的不同作用，為改進這些缺陷，在本課題中，將重點考慮訓練文本對于分類所起的不同

4、作用，根據文檔重要性將文本區(qū)別對待。對于訓練文檔的處理主要體現(xiàn)在劃分文本段落和設置文檔權重。文本段落的劃分主要包括將文本分為首段、中間段、尾段，及其不同段落的結合，針對每一部分段落在文本中所起的作用不同，選出重要的段落參與訓練。由實驗得出將首尾段結合在一起要比單獨的段落分類效果要好。利用段落訓練來代替整篇文本的訓練，這不僅大大減輕了時間復雜度，而且也減輕了系統(tǒng)負擔，提高了系統(tǒng)運行效率。
　　在大規(guī)模的語料文檔中，每部分文檔所含的內

5、容不同，在分類中所起的作用也是不同的，即將其稱為文檔的重要性，在本課題研究工作之一就是文檔的重要程度，即文檔權重，利用模糊計算方法應用到本系統(tǒng)中，根據不同的類別語料文本結合分類效果模糊調整文檔權值，以使其重要的文檔能夠得到充分的應用，進一步提高訓練語料文檔的質量。
　　3、遺傳算法參數(shù)調整
　　遺傳算法中涉及到的參數(shù)主要包括種群大小，選擇概率、交叉概率及變異概率的設定，進化代數(shù)的設定等。這些參數(shù)對遺傳優(yōu)化的質量有很大的影響，

6、而在以往的遺傳算法參數(shù)設置上都是預先設置的固定值，這些值不能隨著遺傳環(huán)境的改變而改變，因此，為改進這些參數(shù)，在本課題中利用模糊調整方法合理設置這些參數(shù)值，主要體現(xiàn)在對交叉率和變異率根據遺傳搜索的不同環(huán)境下做出不同的調整，使其在遺傳算法優(yōu)化階段得到很好的利用，使遺傳算法優(yōu)化取得最優(yōu)解。
　　4、模糊調整特征項權重
　　文本特征項利用特征選擇方法計算其相應權值，利用遺傳算法優(yōu)化訓練特征項，選出最有意義的特征項，由于權值結果在很大