并行化最小最大模塊化支持向量機及其在專利分類中的應用.pdf

1、超大規(guī)模機器學習問題往往是許多機器學習算法在實際應用中的一大限制。這種大規(guī)模問題經(jīng)常會遇到，比如專利分類。即便是像支持向量機這樣高效率的學習算法，面對超大規(guī)模的數(shù)據(jù)，照樣會難以克服。在這種情況下，突破單機限制，利用豐富的并行計算資源，解決這些大規(guī)模學習問題往往是比較可行的辦法。最小最大模塊化支持向量機(M3-SVM)是基于“分而治之”的思想解決大規(guī)模問題的有效學習算法。它通過分解大規(guī)模問題，變成大量小規(guī)模問題進行學習，并通過有效的分類器

2、組合算法將他們重新組合，成為大規(guī)模問題的原始解，該算法具有天生的并行特性。本研究主要探討在并行計算環(huán)境下，并行M3-SVM的實現(xiàn)和特點，分析其并行訓練和測試時間復雜度。在原有的最小最大模塊化并行測試算法基礎上，提出了基于流水化作業(yè)的對稱分類器選擇(SCS)算法、非對稱分類器選擇(ACS)算法和決策樹分類器選擇(TCS)算法。實驗證明利用流水化作業(yè)的分類器選擇算法大大提高了分類器測試的效率。在問題劃分環(huán)節(jié)上，我們提出了質(zhì)心連線劃分方法，在

3、不使用先驗知識的情況下，該劃分方法有效提高了分類效果。 在應用方面，本研究利用并行最小最大模塊化支持向量機解決超大規(guī)模的專利分類問題。我們主要在計算機集群環(huán)境下，對日文專利分類問題進行比較深入的研究。對比M3-SVM與傳統(tǒng)SVM light，我們發(fā)現(xiàn)M3-SVM有更高的學習效率和更好的分類精度。此外，因為M3-SVM通過任務分解可以把不平衡的大規(guī)模問題分解成許多平衡的子問題，所以它能有效解決不平衡的模式分類問題。本研究在三個不同