基于機器學習的專利分類研究.pdf

1、實現(xiàn)專利文本的自動分類有著重要的意義。專利以每年幾十萬條的速度遞增，完全依靠人類專家進行分類需耗費大量人力物力。此外，專利分類是專利分析的基礎，通過對專利進行分析，可以挖掘出許多有價值的信息，例如某個領(lǐng)域的技術(shù)發(fā)展趨勢，競爭對手的市場策略和研發(fā)方向等。然而專利分類是大規(guī)模、層次結(jié)構(gòu)、多標號和不均衡的文本分類問題，大多數(shù)傳統(tǒng)的學習算法都是針對小規(guī)模的、單標號且平衡的問題設計的，無法很好地解決類似專利分類這樣的復雜問題。 支持向量機

2、是一種基于結(jié)構(gòu)風險最小化原則的通用模式分類方法，由于其強大的學習能力和良好的泛化性能，支持向量機已經(jīng)應用到許多模式分類領(lǐng)域。支持向量機的學習過程是一個求解二次規(guī)劃問題的過程，其訓練時間與訓練樣本個數(shù)接近平方級關(guān)系。因此，利用支持向量機解決大規(guī)模的實際問題是相當費時的。因此呂寶糧和他的合作者提出了一種并行的支持向量機，稱為最小最大模塊化支持向量機。它能夠?qū)碗s問題分解成一系列簡單的容易解決的子問題。這些子問題彼此獨立，因此可以利用計算集群

3、實現(xiàn)并行計算。最后將子問題的解通過兩條基本的規(guī)則進行合并，從而得到原問題的解。 本文提出使用最小最大模塊化支持向量機來解決專利分類問題。在其基礎上，我們提出了利用專利的先驗知識的問題分解策略來提高最小最大模塊化支持向量機的性能。該分解策略利用了專利的時間信息和分類體系結(jié)構(gòu)的信息，可以實現(xiàn)對問題的有效分解，使得分解結(jié)果逼近原始數(shù)據(jù)的分布情況。傳統(tǒng)的分類器如SVM對參數(shù)的依賴性較大，為了達到該分類器的最佳性能，需要使用最優(yōu)的訓練參數(shù)

4、。然而調(diào)參的過程對于大規(guī)模的學習問題需要耗費大量的時間。我們發(fā)現(xiàn)最小最大模塊化支持向量機通過把復雜問題分解為簡單子問題，從而降低了與訓練參數(shù)的依賴性。此外最小最大模塊化支持向量機還支持增量學習，這對于專利分類系統(tǒng)具有實際意義。專利分類系統(tǒng)可以學習新的專利知識而無需對已學習過的模塊進行反復學習，從而實現(xiàn)快速的系統(tǒng)更新。我們在NTCIR專利數(shù)據(jù)庫上進行的專利分類的仿真實驗，比較了不同的數(shù)據(jù)劃分方法的性能以及支持向量機與最小最大模塊化支持向量