文本自動(dòng)分類技術(shù)研究及實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，特別是Internet應(yīng)用的普及，電子文本信息急劇增加。如何有效地組織和管理這些海量信息，并且能夠快速、準(zhǔn)確地獲得用戶所需要的信息是當(dāng)今信息技術(shù)領(lǐng)域的一大挑戰(zhàn)。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂的現(xiàn)象，方便用戶準(zhǔn)確地定位所需的信息。文本分類技術(shù)在生活中起著越來越重要的作用，成為信息檢索領(lǐng)域中最前沿的研究熱點(diǎn)之一。 文本自動(dòng)分類是在給定的分類體系下，對(duì)未知類別的文本進(jìn)

2、行自動(dòng)處理，根據(jù)文本特征來判斷其所屬類別的過程。本文首先介紹了文本自動(dòng)分類在國內(nèi)外的研究現(xiàn)狀；其次對(duì)文本自動(dòng)分類的相關(guān)技術(shù)，包括中文分詞技術(shù)、特征選擇、文本表示以及關(guān)鍵的分類算法，并分別進(jìn)行了研究和探索，特別對(duì)幾種不同的特征選擇方法進(jìn)行了研究。遺傳算法是模擬生物在自然環(huán)境中的遺傳和進(jìn)化過程而形成的一種全局優(yōu)化概率搜索算法，具有簡(jiǎn)單、通用、穩(wěn)健等特性。本文深入研究了遺傳算法，并在降低特征向量維數(shù)方面將其引入到特征選擇中。 分類器是

3、文本分類的另一個(gè)重要環(huán)節(jié)。樸素貝葉斯分類器由于計(jì)算高效、精確度高，并具有堅(jiān)實(shí)的理論基礎(chǔ)而得到廣泛的應(yīng)用。本文使用樸素貝葉斯作為分類器，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)文本分類系統(tǒng)，該系統(tǒng)包括：①文本預(yù)處理模塊，對(duì)文本進(jìn)行分詞、停用詞過濾等；②特征選擇模塊，實(shí)現(xiàn)了文檔頻率、信息增益、互信息、卡方統(tǒng)計(jì)等特征選擇算法；③文本表示模塊，采用向量空間模型來表示文本，其中特征項(xiàng)權(quán)重采用TFIDF公式計(jì)算；④分類器算法模塊，實(shí)現(xiàn)了樸素貝葉斯分類算法；⑤分類器評(píng)價(jià)模塊