中文文本自動分類技術(shù)的研究與改進(jìn).pdf

1、隨著信息技術(shù)的迅猛發(fā)展，尤其是網(wǎng)絡(luò)應(yīng)用的普及，各類信息以電子文檔的形式充斥著人們生活，其規(guī)模也在飛速增長。傳統(tǒng)的人工方式對信息進(jìn)行組織和管理的方法，費(fèi)時(shí)費(fèi)力、代價(jià)巨大，在面對大規(guī)模數(shù)據(jù)時(shí)也束手無策。對海量信息的科學(xué)組織管理日益成為一個重要課題，文本自動分類技術(shù)作為這一課題領(lǐng)域的一個重要研究方向，在信息檢索、數(shù)據(jù)挖掘等方面都有很高的應(yīng)用價(jià)值。在我國大部分信息都是用中文記載的，因此對中文的文本的分類顯得尤為重要。目前，伴隨著統(tǒng)計(jì)學(xué)習(xí)理論和自

2、然語言處理技術(shù)的發(fā)展，文本分類技術(shù)已經(jīng)取得了不少研究和實(shí)踐成果。文本分類技術(shù)的四種發(fā)展趨勢，包括新分類方法的涌現(xiàn)、傳統(tǒng)分類方法的改進(jìn)、新的應(yīng)用模式及應(yīng)用領(lǐng)域的出現(xiàn)、理論成果的轉(zhuǎn)化等。本文的工作內(nèi)容主要包括如下幾個部分:
　　(1)對中文文本自動分類技術(shù)的研究背景、研究現(xiàn)狀、發(fā)展趨勢進(jìn)行了分析和總結(jié)。對中文文本自動分類的相關(guān)理論和關(guān)鍵技術(shù)進(jìn)行了系統(tǒng)的介紹，包括文本分類的定義、文本分類的類別體系、文本分類的預(yù)處理技術(shù)、文本分類算法、分

3、類結(jié)果的評估標(biāo)準(zhǔn)等。其中預(yù)處理部分又包括網(wǎng)頁內(nèi)容的解析和提取、中文分詞、特征選擇、文本表示等方面。分類算法主要介紹了SVM、KNN、NB分類算法，同時(shí)對不同的分類算法進(jìn)行了對比分析，提出了不同的適用場景。
　　(2)基于對文本分類相關(guān)技術(shù)和理論的研究和分析，設(shè)計(jì)了一個基于B/S架構(gòu)的中文文本自動分類方案，并進(jìn)行了系統(tǒng)的需求分析、功能分析，提出了系統(tǒng)的性能目標(biāo)、開發(fā)運(yùn)行環(huán)境、總體設(shè)計(jì)方案和詳細(xì)的模塊設(shè)計(jì)方案。
　　(3)基于該

4、方案實(shí)現(xiàn)了一個中文文本自動分類系統(tǒng)，該系統(tǒng)包括語料獲取模塊、語料處理模塊、訓(xùn)練和分類模塊、用戶交互模塊。同時(shí)該系統(tǒng)通過維護(hù)一個保存網(wǎng)頁類別信息的URL分類數(shù)據(jù)庫，提供給用戶直接查詢網(wǎng)頁類別的功能，減少了用戶的等待時(shí)間。
　　(4)從特征選擇方法、詞典長度、分類算法、樣本數(shù)量四個方面進(jìn)行了對比實(shí)驗(yàn)，并對實(shí)驗(yàn)結(jié)果進(jìn)行了分析，同時(shí)得出了提高分類效果的方法，使該分類方案得以完善。
　　本文未來的努力方向是根據(jù)積累的分類經(jīng)驗(yàn)，從流程和