基于進(jìn)化模型的網(wǎng)絡(luò)信息過濾關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展和因特網(wǎng)的日益普及，網(wǎng)絡(luò)上的信息量急速倍增，廣大計(jì)算機(jī)用戶深受信息過載和信息污染的嚴(yán)重困擾。網(wǎng)絡(luò)信息過濾的出現(xiàn)與發(fā)展為人們快速、準(zhǔn)確、全面地獲取信息指明了方向。網(wǎng)絡(luò)信息過濾技術(shù)是以一種系統(tǒng)化的方法，將用戶需求與動(dòng)態(tài)信息流進(jìn)行匹配計(jì)算，從信息流中抽取出符合用戶需求的信息并傳送給用戶。本文從過濾系統(tǒng)涉及的關(guān)鍵技術(shù)入手，所做的主要工作如下： 1.對(duì)當(dāng)前主要的漢語分詞方法進(jìn)行分析和研究，設(shè)計(jì)了一種簡(jiǎn)單高效的分詞方法。

2、 考慮到中文自動(dòng)分詞是信息過濾的基礎(chǔ)，分詞質(zhì)量的好壞直接影響過濾結(jié)果的優(yōu)劣。我們針對(duì)語言豐富，新詞量大且對(duì)速度有很高要求的網(wǎng)絡(luò)環(huán)境的實(shí)際需求，對(duì)當(dāng)前主要的漢語分詞方法進(jìn)行分析和研究，設(shè)計(jì)了一種簡(jiǎn)單高效分詞方法。本方法最大特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，分詞速度快，且對(duì)新詞識(shí)別能力強(qiáng)。對(duì)研究和開發(fā)具有一定的實(shí)用價(jià)值的中文自動(dòng)分詞系統(tǒng)具有一定的借鑒意義。 2.提出了一種用于大規(guī)模語料的類別權(quán)重計(jì)算方法和一種單Web文本權(quán)重計(jì)算方法。

3、針對(duì)目前很多系統(tǒng)不考慮特征的實(shí)際應(yīng)用和側(cè)重點(diǎn)，對(duì)特征權(quán)重不作區(qū)分計(jì)算的現(xiàn)狀，本文提出了一種用于大規(guī)模語料的類別權(quán)重計(jì)算方法和一種單Web文本權(quán)重計(jì)算方法。這兩種權(quán)重計(jì)算方法分別用在兩個(gè)不同的環(huán)節(jié)。在訓(xùn)練用戶模型時(shí)，面對(duì)的是整個(gè)數(shù)據(jù)集，特征的重要性是在整個(gè)文本數(shù)據(jù)集中的重要性，更側(cè)重于特征的類別區(qū)分能力，適用類別權(quán)重計(jì)算方法，本文充分挖掘特征的類別信息(詞頻、文檔頻率、類分布等)來構(gòu)造類別權(quán)重計(jì)算函數(shù)；流經(jīng)網(wǎng)絡(luò)的文檔流在某一時(shí)刻是單個(gè)文本

4、，更側(cè)重于文本內(nèi)容的表示能力，適用單Web文本權(quán)重計(jì)算方法，本文根據(jù)web文檔自身的特點(diǎn)，例如根據(jù)特征詞頻和文本結(jié)構(gòu)等特點(diǎn)構(gòu)造權(quán)重計(jì)算函數(shù)。 3.利用遺傳算法進(jìn)化用戶模型時(shí)，對(duì)影響遺傳算法早熟收斂的交叉和變異算子進(jìn)行了改進(jìn)，根據(jù)進(jìn)化過程采取自適應(yīng)交叉和變異概率，并引入基因擴(kuò)展、增量遺傳等措施更新用戶模型，將用戶模型的獲取和更新融為一體。 目前，在用戶模型的研究上，大多數(shù)過濾系統(tǒng)把用戶模型的獲取和更新分離開來。本文對(duì)用戶模

5、型的表示、建立和更新環(huán)節(jié)進(jìn)行了詳細(xì)的分析和研究，將用戶興趣模型的獲取和更新過程看作是一個(gè)學(xué)習(xí)一調(diào)整一再學(xué)習(xí)一再調(diào)整……不斷進(jìn)化的過程，因而可以把用戶模型的建立和更新融入遺傳算法的進(jìn)化機(jī)制，從而獲取高效準(zhǔn)確的用戶模型。為了充分發(fā)揮遺傳算法的優(yōu)勢(shì)，避免傳統(tǒng)遺傳算法的缺陷，本文在應(yīng)用遺傳算法進(jìn)化用戶模型時(shí)，對(duì)遺傳算法各個(gè)環(huán)節(jié)的實(shí)施策略進(jìn)行了精心的設(shè)計(jì)和改進(jìn)。主要對(duì)影響遺傳算法早熟收斂的交叉和變異算子進(jìn)行了改進(jìn)，綜合考慮群體的收斂狀態(tài)、個(gè)體適應(yīng)