Web中文文本分類技術(shù)研究與實(shí)現(xiàn).pdf

1、在信息化的大背景下，Web的飛速發(fā)展及互聯(lián)網(wǎng)的普及給我們的工作和生活帶來了極大的便捷，網(wǎng)絡(luò)成為人們獲取信息的重要來源。不過由于異構(gòu)與開放的Internet網(wǎng)絡(luò)，大量垃圾信息充斥其中，對(duì)待無盡的網(wǎng)絡(luò)信息，怎樣有效的管理，如何快速、準(zhǔn)確地發(fā)現(xiàn)潛在有用的知識(shí)成為當(dāng)前的研究熱點(diǎn)。有效應(yīng)對(duì)繁雜網(wǎng)頁內(nèi)容的一個(gè)重要方法就是將其分類，而目前文本仍然是網(wǎng)頁的主要呈現(xiàn)形式，因此文本分類是解決該問題的核心，同時(shí)它也是有關(guān)搜索引擎，信息的檢索與過濾的基礎(chǔ)技術(shù)，

2、廣泛的適用性決定了對(duì)它研究的現(xiàn)實(shí)意義。Web中文文本分類是互聯(lián)網(wǎng)技術(shù)與傳統(tǒng)文本分類技術(shù)相結(jié)合的產(chǎn)物，簡單概述，它是利用已知類別Web中文文檔學(xué)習(xí)出一個(gè)分類模型，繼而確定未知文檔類別的技術(shù)，整個(gè)過程包括預(yù)處理Web中文文本、選取特征詞集、文本表示、計(jì)算詞權(quán)值、樣本分類等步驟。
　　首先本論文在闡明Web中文分類關(guān)鍵技術(shù)的基礎(chǔ)上，總結(jié)了研究的背景及現(xiàn)狀，分析了研究的流程思路，做了很多理論和實(shí)現(xiàn)上的研究。理論方面，在綜合分析總結(jié)了已有方

3、法的不足之后，對(duì)分類過程中的一些環(huán)節(jié)進(jìn)行了改進(jìn)。針對(duì)Web下的特殊使用環(huán)境，提出了在特征選擇之前，不同位置的文本，分區(qū)域、分步驟并賦予不同權(quán)重處理的思路；對(duì)于卡方統(tǒng)計(jì)只顧文檔頻率而沒考慮詞頻，本類出現(xiàn)少而非本類中普遍存在時(shí)極有可能被選為特征詞以及自身公式中均勻分布糾正懲罰能力不夠等情況，提出了詞頻補(bǔ)償因子、類別比重因子、類內(nèi)分布因子的概念，將它們乘在傳統(tǒng)方法的公式后面作為補(bǔ)償來對(duì)原方法加以改進(jìn)，取得了良好的效果；在分類算法方面，重點(diǎn)研究

4、了KNN算法，在深入分析其原理后總結(jié)出了優(yōu)缺點(diǎn)。針對(duì)KNN算法采用內(nèi)積公式計(jì)算文本相似度比較粗糙的情況（文中已舉例說明），給出了一種利用相似接近系數(shù)進(jìn)行完善的方法。通過設(shè)計(jì)相關(guān)試驗(yàn)證明，以上改進(jìn)后的措施在準(zhǔn)確率、召回率、F1值等方面都有不同程度的提高。實(shí)現(xiàn)方面，本文設(shè)計(jì)了用于Web中文文本分類試驗(yàn)的小工具軟件，包括用于建立樣本庫的Web網(wǎng)頁采集模塊，用于處理文本和分類過程的分類模塊，用于評(píng)估對(duì)比最終結(jié)果的評(píng)估模塊。并提供了設(shè)計(jì)的主要方案