專利地圖服務系統(tǒng)的研究與應用.pdf

1、專利技術是一個國家地區(qū)各行業(yè)間競爭的重要籌碼之一。基于專利文獻等非結構化信息的挖掘和分析形成的專利地圖，可以幫助企業(yè)了解行業(yè)動態(tài)并改進現(xiàn)有的技術。此外，因為專利文獻多以非結構化的形式存在，并且數(shù)量十分龐大，傳統(tǒng)方式十分耗時，因此本文利用Hadoop平臺的MapReduce框架處理這些海量的非結構化信息。
　　本文在對相應的需求和技術分析后，建立了包括數(shù)據(jù)采集、文本分類和專利信息可視化三大部分的三層架構，重點是研究文本分類和專利信息

2、可視化兩大部分。數(shù)據(jù)采集主要是人工采集和自動采集，自動采集主要利用網絡爬蟲技術，根據(jù)設定的主題和關鍵字，定期從數(shù)據(jù)源處采集數(shù)據(jù)，并通過網頁排重和數(shù)據(jù)清洗，得到所需的專利文獻?？紤]到專利文本的特殊性，本文將專利標題和摘要作為專利的原始文本。預處理和分類是文本分類的兩個重要步驟，針對專利文本非結構化的特點，本文分析了文本預處理的各階段包括中文分詞、去除停用詞、利用信息增益進行特征選擇和文本向量化過程，并計算了所需的詞頻、文檔頻率等相關的統(tǒng)計

3、量，同時結合MapRedece計算模型，設計實現(xiàn)了將整個文本預處理過程并行化處理的方法，并通過實驗表明時間得到了很大的提升。根據(jù)本文的特點，對KNN進行了優(yōu)化，提出了將類中心向量法和KNN相結合的方法，算法的主要思想是，在訓練階段先將專利文獻根據(jù)均值法取得每個類的中心向量，作為初級分類器，然后測試文獻與其進行相似度計算，找到距離最近的M個子類（M為系統(tǒng)手動輸入的閥值），然后在將文本與M個子類中的文本進行計算，并用KNN算法找到最近的K個

4、專利文本，以此來判別測試文本的類別，通過降低進行計算的訓練文本的數(shù)量，減少計算量。本文通過實驗也驗證了改進算法在不降低準確性的情況下所需的時間比KNN少。專利地圖的展示，對分好類的專利文獻，采用均值法將其表示成一個類對應一個向量文本即類別—中心向量，然后對各個類別分別進行相似度計算，對取得的值在地圖上用線表示，類別表示為地圖上的圓圈，從而根據(jù)類別間的關系揭示專利之間的關系。
　　最后本文初步實現(xiàn)了專利地圖的構建系統(tǒng)，實現(xiàn)了專利的技