基于退火遺傳算法的自適應(yīng)網(wǎng)絡(luò)信息過濾系統(tǒng)研究與實現(xiàn).pdf

1、信息過濾是一種系統(tǒng)化方法，他能夠自動的將網(wǎng)絡(luò)上的動態(tài)信息流與用戶需求進(jìn)行匹配，從信息流中抽取出符合用戶個性化需求的信息并送給用戶。當(dāng)前信息過濾技術(shù)主要研究網(wǎng)絡(luò)信息的獲取和表示、用戶模板的構(gòu)建和更新、待處理文檔同用戶模板的相似度計算等問題。 由于遺傳算法應(yīng)用于機(jī)器學(xué)習(xí)以及組合優(yōu)化中有其他方法無法比擬的優(yōu)點，因此本文從信息過濾準(zhǔn)確率和速度兩個主要指標(biāo)為出發(fā)點，應(yīng)用遺傳算法構(gòu)建了信息過濾用戶興趣模板，并針對模型構(gòu)建過程中遺傳算法早熟的

2、缺點、匹配過程中整體匹配效率較低以及訓(xùn)練過程中用戶興趣模板和文檔庫的更新問題提出了一系列的改進(jìn)措施，最終實現(xiàn)了基于上述改進(jìn)方案的網(wǎng)絡(luò)信息過濾系統(tǒng)。主要工作包括： 1.深入研究了網(wǎng)絡(luò)信息過濾關(guān)鍵技術(shù)及相關(guān)過濾模型。探討了信息過濾的一般模型及其相關(guān)算法，分析了現(xiàn)有的信息過濾模型中存在的問題，重點研究了網(wǎng)絡(luò)信息過濾中的網(wǎng)絡(luò)數(shù)據(jù)的獲取和表示、特征權(quán)值的計算方法、文本信息的表示、分類算法以及匹配和反饋技術(shù)等。 2.將遺傳算法應(yīng)用到

3、信息過濾中生成過濾模板。經(jīng)過對傳統(tǒng)文本分類技術(shù)的比較和研究，并且對于遺傳算法優(yōu)點及應(yīng)用進(jìn)行了充分分析，提出了基于遺傳算法的文本分類及信息過濾模板構(gòu)建方法，即文中所說的遺傳訓(xùn)練。 在遺傳訓(xùn)練中，應(yīng)用符號編碼和二進(jìn)制編碼相結(jié)合的方法解決了向量文本的處理問題，通過一系列改進(jìn)的遺傳操作并且引進(jìn)向量之間的相似度作為適應(yīng)度函數(shù)，經(jīng)過一定代數(shù)的遺傳操作形成了文本分類和信息過濾的模板，而由網(wǎng)絡(luò)數(shù)據(jù)包捕獲模塊捕獲的數(shù)據(jù)包在進(jìn)行分詞處理之后就與模板

4、進(jìn)行相似度的比較，從而考察獲取的網(wǎng)絡(luò)信息文本屬于哪令類別，最終實現(xiàn)對網(wǎng)絡(luò)信息分類的目的，也就實現(xiàn)了對網(wǎng)絡(luò)信息的有效過濾。 3.建立了基于改進(jìn)遺傳算法的網(wǎng)絡(luò)信息過濾模型。在充分分析遺傳算法優(yōu)點的基礎(chǔ)上，將其引入到網(wǎng)絡(luò)信息過濾中用于模板生成；針列遺傳算法存在的局部最優(yōu)的缺點，引入模擬退火操作對遺傳算法從結(jié)構(gòu)上進(jìn)行調(diào)節(jié)和改進(jìn)；針對遺傳存在的參數(shù)固定、種群單一的缺點，引入了基于年齡的種群控制思想以及隨代數(shù)變化的變交叉率和變異率。

5、 4.引入了基于概念的邏輯段落劃分方法。該方法建立在概念詞典之上，通過分析待分類文本中所包含的邏輯概念，將待分類文本中表達(dá)相同意義的段落進(jìn)行聚類分析，并建立以此邏輯層次劃分方法為基礎(chǔ)的邏輯段落概念，然后以該邏輯段落作為分類的依據(jù)，考慮不同的段落對于文本主題表示的貢獻(xiàn)程度。同時，針對匹配過程中存在的多義詞和同義詞現(xiàn)象，引入同義詞概念擴(kuò)充和關(guān)聯(lián)詞語擴(kuò)充。 5.提出了一種利用反饋文檔動態(tài)修改類別模板方法。類別模板建立的好壞直接關(guān)系到信

6、息過濾系統(tǒng)的優(yōu)劣，并且分類體系有可能經(jīng)常變更。而使用重新訓(xùn)練的方法耗時、費力，與反饋的初衷背道而馳，真正意義上的反饋應(yīng)在已經(jīng)產(chǎn)生的訓(xùn)練結(jié)果上進(jìn)行調(diào)整，即是在過濾過程中自動實現(xiàn)過濾模板的調(diào)整。針對上述問題，課題研究過程中提出一種利用反饋文檔動態(tài)修改類別模板的算法。 6.設(shè)計并實現(xiàn)了網(wǎng)絡(luò)信息過濾系統(tǒng)NIFS。按照分塊、分層次以及模塊化設(shè)計思路，設(shè)計并實現(xiàn)了網(wǎng)絡(luò)信息過濾系統(tǒng)。系統(tǒng)實現(xiàn)三級過濾機(jī)制，采用基于SPI的網(wǎng)絡(luò)封包截獲技術(shù)進(jìn)行數(shù)