基于Hadoop的SKNN文本分類算法的設(shè)計與實現(xiàn).pdf

1、近年來，隨著信息技術(shù)的高速發(fā)展，全球信息量迅猛增長，“大數(shù)據(jù)”時代已經(jīng)到來。文本分類技術(shù)可以按照文本的主題對文本進行歸類，從而方便組織和管理海量文本數(shù)據(jù)。經(jīng)典KNN分類算法具有實現(xiàn)簡單、分類結(jié)果穩(wěn)定和準確性高等特點，但其計算量大，分類用時較長。本文提出了一種SKNN分類算法，可以有效降低KNN的時間復雜度。此外，在處理海量文本數(shù)據(jù)時，基于單機的傳統(tǒng)文本分類技術(shù)在存儲和計算能力兩個方面都表現(xiàn)不足，開源云計算平臺Hadoop提供海量數(shù)據(jù)存儲

2、和并行計算的解決方案。本文主要研究基于Hadoop的SKNN文本分類算法的設(shè)計與實現(xiàn)。
　　文本預處理和文本分類是文本分類技術(shù)的兩個重要的步驟。本文在文本預處理階段的工作中，考慮到單個文本屬于小文件的特點，結(jié)合HDFS分布式文件系統(tǒng)對數(shù)據(jù)的管理方式，設(shè)計了文本數(shù)據(jù)集在HDFS中的存儲策略。分析了中文分詞、去停用詞、特征選擇和文本表示的過程和相關(guān)計算所需的詞頻、文檔頻率等統(tǒng)計量，結(jié)合MapReduce計算模型，設(shè)計實現(xiàn)了將整個文本預

3、處理過程進行并行化處理的方法。在對46.9M、93.8M、234M、469M和938M五個不同數(shù)據(jù)量的文本數(shù)據(jù)進行預處理的實驗結(jié)果表明，Hadoop處理較大的數(shù)據(jù)更有優(yōu)勢，另外在處理相同數(shù)據(jù)量的數(shù)據(jù)時，多節(jié)點的集群比單節(jié)點的集群速度更快，且數(shù)據(jù)越大速度提高的效果越明顯。
　　本文在文本分類階段的工作中，針對經(jīng)典KNN分類算法的不足，提出了一種劃分子類的SKNN分類算法。該算法吸收了急迫性學習算法的思想，在訓練階段通過給每個類別劃分

4、S個子類來構(gòu)造初級分類器，測試文本先找出距離最近的K個子類，再從K個子類中找出最近的K個文本來判別測試文本的類別，通過降低了需要進行比較的訓練文本數(shù)，減少了計算量。本文分析了SKNN分類算法的正確性和時間復雜度小于經(jīng)典KNN算法。在對大量待測文本數(shù)據(jù)進行分類時，基于MapReduce的SKNN分類算法可以提高分類的效率。實驗結(jié)果表明在分類準確度相當?shù)那闆r下，SKNN分類算法所需分類時間比經(jīng)典KNN分類算法少，另外，Hadoop處理大量文