基于支持向量機的文本分類在并行環(huán)境中的性能分析及應(yīng)用.pdf

1、文本分類是指按照預(yù)先定義的主題類別，根據(jù)文檔集合中的每個文檔的內(nèi)容，自動地分類到預(yù)先設(shè)定的類型集合中，使其對應(yīng)類型集合中的某一類別或者某幾個類別。由于這些類別是可以重疊的，所以每一類可以作為一個單獨的兩類分類問題。 近十年來人類已經(jīng)處于一個信息極其豐富的時代，報紙、電視、雜志、Internet 等多種傳播媒體將各種各樣大量的信息呈現(xiàn)在人們的面前。隨著計算機技術(shù)、通訊技術(shù)、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展以及互聯(lián)網(wǎng)技術(shù)應(yīng)用的日益普及，以電子形式

2、存在的數(shù)據(jù)的總量急劇增長。一方面，網(wǎng)上信息的多樣性和多變性導(dǎo)致信息過度膨脹，另一方面，用戶卻找不到所需要的信息，在這樣一個動態(tài)變化的環(huán)境下對各種文本信息進行收集、分析、分類、評價并提供有效的信息分類服務(wù)就成為一個研究熱點。 本論文主要研究的是目前分類效果最好的支持向量機，利用現(xiàn)有的串行程序進行相關(guān)的并行化設(shè)計，按照現(xiàn)有的能力和條件進行并行化效率的分析，找出解決文本分類效率隨分類問題規(guī)模增大而下降問題的方法和為組建并行環(huán)境的硬件最

3、佳配置提供參考是本論文的目的。 本文的主要工作和結(jié)論： 1．模型并行化的探索，對目前文本分類效果最好的支持向量機進行并行化，實現(xiàn)文本分類中訓(xùn)練和測試計算效率的提高； 2．并行化的效率優(yōu)化，對文本分類算法進行相關(guān)的并行化設(shè)計和實現(xiàn)，根據(jù)現(xiàn)有的實驗環(huán)境進行并行化效率的分析，找出并行環(huán)境最佳配置； 3．并行算法效率與并行環(huán)境存在著依賴，根據(jù)并行環(huán)境的系統(tǒng)特點，運行過程中的通信開銷在很大的程度上決定了并行分類的