基于改進哈希算法的快速KNN文本分類方法.pdf

1、網(wǎng)絡的日益普及和人們對技術的日益依賴，使得數(shù)據(jù)越來越多的以電子的形式存儲在計算機中。在當今高節(jié)奏社會，無論是在大型的企業(yè)數(shù)據(jù)中，還是在網(wǎng)絡上，如何迅速有效的找到所需要的數(shù)據(jù)已經(jīng)成為一個重要的話題。對此，國內(nèi)外的專家提出了各種各樣的技術，如數(shù)據(jù)庫技術、關鍵詞匹配技術和文本分類技術等。對文本進行分類能夠有效的降低搜索感興趣內(nèi)容的時間，并且提高結(jié)果的準確率，在一定的程度上提高了用戶的體驗度。
　　 常用的分類技術如貝葉斯分類技術、支持

2、向量機分類法、決策樹等需要大量的時間來訓練分類器，如果更新訓練用的語料庫的話，需要重新訓練文本分類器。傳統(tǒng)中的KNN分類器的一大優(yōu)點在于其能夠在語料增加的情況下，不用重新訓練分類器，同時分類準確率也比較高，因此一直很是受歡迎。但是，KNN算法也有其瓶頸：需要計算待分類文本與所有訓練文本之間的相似度，這會浪費大量的時間。
　　 本文提出了一種改進的KNN文本分類方法，根據(jù)具有最小方差的若干個特征建立相應的文本列表，搜索近鄰文本時，

3、先確定待分類文本的近鄰文本在這些特征上的大致取值范圍，從而依據(jù)哈希算法直接剔除掉絕大多數(shù)的文本，對于剩下的文本計算與待分類文本的相似度并找出最近鄰的若干個，如果不滿足K的要求，可以適當?shù)臄U展特征的取值范圍直到滿足為止。這種做法會極大的提高文本檢索的速度。同時根據(jù)訓練文本的類別與待分類文本的距離溢出率，對該類別中的文本與待分類文本之間的相似度進行適當?shù)臋?quán)重調(diào)整，從而提高分類的準確率。在篩選特征的時候，改進了傳統(tǒng)的tf-idf算法，并且根據(jù)