基于退火遺傳算法的自適應(yīng)網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)研究與實(shí)現(xiàn).pdf

1、信息過(guò)濾是一種系統(tǒng)化方法，他能夠自動(dòng)的將網(wǎng)絡(luò)上的動(dòng)態(tài)信息流與用戶需求進(jìn)行匹配，從信息流中抽取出符合用戶個(gè)性化需求的信息并送給用戶。當(dāng)前信息過(guò)濾技術(shù)主要研究網(wǎng)絡(luò)信息的獲取和表示、用戶模板的構(gòu)建和更新、待處理文檔同用戶模板的相似度計(jì)算等問(wèn)題。 由于遺傳算法應(yīng)用于機(jī)器學(xué)習(xí)以及組合優(yōu)化中有其他方法無(wú)法比擬的優(yōu)點(diǎn)，因此本文從信息過(guò)濾準(zhǔn)確率和速度兩個(gè)主要指標(biāo)為出發(fā)點(diǎn)，應(yīng)用遺傳算法構(gòu)建了信息過(guò)濾用戶興趣模板，并針對(duì)模型構(gòu)建過(guò)程中遺傳算法早熟的

2、缺點(diǎn)、匹配過(guò)程中整體匹配效率較低以及訓(xùn)練過(guò)程中用戶興趣模板和文檔庫(kù)的更新問(wèn)題提出了一系列的改進(jìn)措施，最終實(shí)現(xiàn)了基于上述改進(jìn)方案的網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)。主要工作包括： 1.深入研究了網(wǎng)絡(luò)信息過(guò)濾關(guān)鍵技術(shù)及相關(guān)過(guò)濾模型。探討了信息過(guò)濾的一般模型及其相關(guān)算法，分析了現(xiàn)有的信息過(guò)濾模型中存在的問(wèn)題，重點(diǎn)研究了網(wǎng)絡(luò)信息過(guò)濾中的網(wǎng)絡(luò)數(shù)據(jù)的獲取和表示、特征權(quán)值的計(jì)算方法、文本信息的表示、分類(lèi)算法以及匹配和反饋技術(shù)等。 2.將遺傳算法應(yīng)用到

3、信息過(guò)濾中生成過(guò)濾模板。經(jīng)過(guò)對(duì)傳統(tǒng)文本分類(lèi)技術(shù)的比較和研究，并且對(duì)于遺傳算法優(yōu)點(diǎn)及應(yīng)用進(jìn)行了充分分析，提出了基于遺傳算法的文本分類(lèi)及信息過(guò)濾模板構(gòu)建方法，即文中所說(shuō)的遺傳訓(xùn)練。 在遺傳訓(xùn)練中，應(yīng)用符號(hào)編碼和二進(jìn)制編碼相結(jié)合的方法解決了向量文本的處理問(wèn)題，通過(guò)一系列改進(jìn)的遺傳操作并且引進(jìn)向量之間的相似度作為適應(yīng)度函數(shù)，經(jīng)過(guò)一定代數(shù)的遺傳操作形成了文本分類(lèi)和信息過(guò)濾的模板，而由網(wǎng)絡(luò)數(shù)據(jù)包捕獲模塊捕獲的數(shù)據(jù)包在進(jìn)行分詞處理之后就與模板

4、進(jìn)行相似度的比較，從而考察獲取的網(wǎng)絡(luò)信息文本屬于哪令類(lèi)別，最終實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息分類(lèi)的目的，也就實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)信息的有效過(guò)濾。 3.建立了基于改進(jìn)遺傳算法的網(wǎng)絡(luò)信息過(guò)濾模型。在充分分析遺傳算法優(yōu)點(diǎn)的基礎(chǔ)上，將其引入到網(wǎng)絡(luò)信息過(guò)濾中用于模板生成；針列遺傳算法存在的局部最優(yōu)的缺點(diǎn)，引入模擬退火操作對(duì)遺傳算法從結(jié)構(gòu)上進(jìn)行調(diào)節(jié)和改進(jìn)；針對(duì)遺傳存在的參數(shù)固定、種群?jiǎn)我坏娜秉c(diǎn)，引入了基于年齡的種群控制思想以及隨代數(shù)變化的變交叉率和變異率。

5、 4.引入了基于概念的邏輯段落劃分方法。該方法建立在概念詞典之上，通過(guò)分析待分類(lèi)文本中所包含的邏輯概念，將待分類(lèi)文本中表達(dá)相同意義的段落進(jìn)行聚類(lèi)分析，并建立以此邏輯層次劃分方法為基礎(chǔ)的邏輯段落概念，然后以該邏輯段落作為分類(lèi)的依據(jù)，考慮不同的段落對(duì)于文本主題表示的貢獻(xiàn)程度。同時(shí)，針對(duì)匹配過(guò)程中存在的多義詞和同義詞現(xiàn)象，引入同義詞概念擴(kuò)充和關(guān)聯(lián)詞語(yǔ)擴(kuò)充。 5.提出了一種利用反饋文檔動(dòng)態(tài)修改類(lèi)別模板方法。類(lèi)別模板建立的好壞直接關(guān)系到信

6、息過(guò)濾系統(tǒng)的優(yōu)劣，并且分類(lèi)體系有可能經(jīng)常變更。而使用重新訓(xùn)練的方法耗時(shí)、費(fèi)力，與反饋的初衷背道而馳，真正意義上的反饋應(yīng)在已經(jīng)產(chǎn)生的訓(xùn)練結(jié)果上進(jìn)行調(diào)整，即是在過(guò)濾過(guò)程中自動(dòng)實(shí)現(xiàn)過(guò)濾模板的調(diào)整。針對(duì)上述問(wèn)題，課題研究過(guò)程中提出一種利用反饋文檔動(dòng)態(tài)修改類(lèi)別模板的算法。 6.設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)NIFS。按照分塊、分層次以及模塊化設(shè)計(jì)思路，設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)信息過(guò)濾系統(tǒng)。系統(tǒng)實(shí)現(xiàn)三級(jí)過(guò)濾機(jī)制，采用基于SPI的網(wǎng)絡(luò)封包截獲技術(shù)進(jìn)行數(shù)