基于關(guān)系權(quán)重的SVM文本分類研究.pdf

1、隨著科學技術(shù)的日新月異，特別是互聯(lián)網(wǎng)的快速發(fā)展，各種信息情報激增，人們可以通過各種手段快速獲取大量的文本資料，但是如何對所獲取的資料進行科學而有效地管理，如何運用計算機對文本進行自動分類是擺在人們面前的一個不可回避而又很有意義的課題。支持向量機作為一種強分類器，在文本分類中的應用獲得了廣泛的研究，成為現(xiàn)代信息處理的一個研究熱點。本文在上述背景下，開展了基于關(guān)系權(quán)重的SVM文本分類的研究。 本文首先介紹了支持向量機的理論，并對其在

2、多類問題中的幾種組合策略進行了分析和比較。同時闡述了文本分類的一些相關(guān)知識，比如向量空間模型、文本分類評價指標等。 然后，深入分析了一種簡單又常用的TF-IDF特征加權(quán)算法的特點，找出其分類精度不高的原因，在此基礎(chǔ)上提出了一種基于關(guān)系權(quán)重的文本表示方法，通過引入關(guān)系權(quán)重，優(yōu)化了文本表示，在文本向量中體現(xiàn)了不同特征項在不同類別中重要程度的差異，使得在此權(quán)重下不同類別的文本得到更準確的區(qū)分。同時，本文還采用六種不同的特征選擇評估函數(shù)

3、來計算關(guān)系權(quán)重，改進了文本向量的表示。 接著，本文構(gòu)造了一個基于關(guān)系權(quán)重的SVM中文文本分類系統(tǒng)。該系統(tǒng)采用“一對多”的方法來進行SVM文本分類，并且在文本排重模塊中，引入了一個聚類算法，通過設(shè)定一個適當?shù)木垲惏霃?，達到聚類排重的目的，降低了系統(tǒng)的時間復雜度。 最后，通過一個數(shù)碼產(chǎn)品信息語料庫進行了文本分類實驗，實驗結(jié)果表明：用大多數(shù)的特征選擇評估函數(shù)來計算關(guān)系權(quán)重，對文本分類精度都有一定的優(yōu)化和改進，其中以互信息效果最