面向信息檢索的智能分類方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，Internet上的信息日益豐富，已經(jīng)成為人們?nèi)粘９ぷ骱蜕钪蝎@取信息的重要來源。但是，由于Internet所固有的開放性和異構(gòu)性，用戶很難從紛繁復(fù)雜的海量信息中準(zhǔn)確定位到自己所需要的信息。因此，如何合理有效地組織和管理Internet上的信息，已經(jīng)日益成為信息處理領(lǐng)域一個(gè)十分重要的研究課題。面對(duì)web上的海量信息，傳統(tǒng)的做法是對(duì)網(wǎng)上信息進(jìn)行人工分類，并加以組織和整理，為人們提供一種相對(duì)有效的信息獲取手段。但是

2、，這種人工分類的做法存在許多弊端：一是耗費(fèi)大量的人力、物力和財(cái)力。二是存在分類結(jié)果一致性不高的問題。即使分類人的語(yǔ)言素質(zhì)較高，對(duì)于不同的人分類，其分類結(jié)果仍然不盡相同。甚至同一個(gè)人，在不同時(shí)間做分類也可能會(huì)有不同的結(jié)果。因此，人們對(duì)網(wǎng)頁(yè)智能分類技術(shù)的需要越來越迫切。 本文在研究傳統(tǒng)信息檢索技術(shù)實(shí)現(xiàn)的同時(shí)，結(jié)合現(xiàn)有的網(wǎng)頁(yè)分類技術(shù)，對(duì)網(wǎng)頁(yè)智能分類進(jìn)行了較為系統(tǒng)的研究。在此基礎(chǔ)上對(duì)面向信息檢索的智能分類中的網(wǎng)頁(yè)預(yù)處理、中文分詞、特征提

3、取、網(wǎng)頁(yè)分類提出了一定的思考和見解。主要?jiǎng)?chuàng)新點(diǎn)： (1)針對(duì)網(wǎng)頁(yè)結(jié)構(gòu)的特點(diǎn)，分析了網(wǎng)頁(yè)中對(duì)分類過程有貢獻(xiàn)的信息成分，改進(jìn)了從中文網(wǎng)頁(yè)內(nèi)自動(dòng)清除“噪音”并提取正文的行之有效的方法。 (2)研究了現(xiàn)有網(wǎng)頁(yè)源代碼的特點(diǎn)，把網(wǎng)頁(yè)表示成樹型層次結(jié)構(gòu)，每個(gè)葉子節(jié)點(diǎn)賦予不同的權(quán)重;在傳統(tǒng)的特征詞權(quán)重計(jì)算公式的基礎(chǔ)上，考慮了特征詞的長(zhǎng)度和特征詞出現(xiàn)的位置兩個(gè)因素，提出了基于網(wǎng)頁(yè)標(biāo)簽樹型層次結(jié)構(gòu)的特征詞權(quán)重計(jì)算公式。 (3)介紹了

4、傳統(tǒng)的特征提取算法，并在X2統(tǒng)計(jì)量的基礎(chǔ)上，對(duì)X2統(tǒng)計(jì)量公式做了兩點(diǎn)改進(jìn)。 (4)研究了現(xiàn)有的網(wǎng)頁(yè)分類方法。KNN分類算法為了找到與測(cè)試文本距離最近(最相似)的K篇文本，需要窮盡搜索整個(gè)訓(xùn)練集，在訓(xùn)練樣本數(shù)較多或者表示樣本的特征向量維數(shù)較高時(shí)，計(jì)算復(fù)雜性就很高。針對(duì)這一問題，本文在粒子群算法的基礎(chǔ)上，提出了一種智能快速尋找新文本的K個(gè)近鄰的PSOKNN算法. (5)對(duì)IG、MI、CHI、CHI*四種統(tǒng)計(jì)量的實(shí)驗(yàn)結(jié)果做出了