大數(shù)據(jù)處理技術(shù)在專利數(shù)據(jù)分析中的應(yīng)用研究.pdf

1、專利文獻(xiàn)具有數(shù)據(jù)量大、類型復(fù)雜，蘊含信息豐富的特點。但是，目前常用的專利文獻(xiàn)處理信息化平臺對海量專利文獻(xiàn)數(shù)據(jù)的處理能力不足，缺乏對專利文獻(xiàn)進行系統(tǒng)分析與深度信息挖掘的能力。為了解決這些問題，本文課題圍繞大數(shù)據(jù)技術(shù)在專利數(shù)據(jù)分析中的應(yīng)用展開了研究開發(fā)。
　　作者調(diào)查了專利審查工作，尤其是專利數(shù)據(jù)審查質(zhì)量分析與低質(zhì)量專利分析的應(yīng)用需求;研究了大數(shù)據(jù)處理與分析的相關(guān)技術(shù)；設(shè)計了專利大數(shù)據(jù)處理平臺的體系結(jié)構(gòu)（主要包括應(yīng)用系統(tǒng)、Spark大

2、數(shù)據(jù)框架、數(shù)據(jù)源三大組成部分）。研究了K-近鄰算法、關(guān)聯(lián)規(guī)則算法，以及聚類算法在專利數(shù)據(jù)分析處理中的應(yīng)用方法。
　　在理論研究的基礎(chǔ)上，基于Linux操作系統(tǒng)、Spark2.1.0、R3.3.2構(gòu)建了專利大數(shù)據(jù)處理平臺，基于Spark R與Mlib環(huán)境，應(yīng)用基于R的W e b交互界面的應(yīng)用框架軟件包Shiny、可在Spark中進行數(shù)據(jù)分析的R語言包Sparklyr，以及R語言開發(fā)實現(xiàn)了低質(zhì)量專利數(shù)據(jù)聚類分析軟件。
　　本軟件

3、以外觀專利申請中的低質(zhì)量案件為對象，獲取其主分類號等數(shù)據(jù)集，存儲在分布式文件系統(tǒng)h d fs中；應(yīng)用R語言調(diào)用Sparklyr連接Spark計算框架；通過K均值聚類軟件進行聚類輸出，獲得數(shù)據(jù)分析結(jié)果，再通過R程序進行可視化；使用shiny與用戶進行Web交互。
　　目前，低質(zhì)量專利數(shù)據(jù)聚類分析軟件已在某公司正常運行，可對低質(zhì)量專利數(shù)據(jù)進行聚類分析；可根據(jù)顏色，位置，聚合程度來直觀顯示聚類效果。運行結(jié)果表明，本軟件對于輔助專利機構(gòu)提