專利地圖服務(wù)系統(tǒng)的研究與應(yīng)用.pdf

1、專利技術(shù)是一個國家地區(qū)各行業(yè)間競爭的重要籌碼之一。基于專利文獻(xiàn)等非結(jié)構(gòu)化信息的挖掘和分析形成的專利地圖，可以幫助企業(yè)了解行業(yè)動態(tài)并改進(jìn)現(xiàn)有的技術(shù)。此外，因?yàn)閷＠墨I(xiàn)多以非結(jié)構(gòu)化的形式存在，并且數(shù)量十分龐大，傳統(tǒng)方式十分耗時，因此本文利用Hadoop平臺的MapReduce框架處理這些海量的非結(jié)構(gòu)化信息。
　　本文在對相應(yīng)的需求和技術(shù)分析后，建立了包括數(shù)據(jù)采集、文本分類和專利信息可視化三大部分的三層架構(gòu)，重點(diǎn)是研究文本分類和專利信息

2、可視化兩大部分。數(shù)據(jù)采集主要是人工采集和自動采集，自動采集主要利用網(wǎng)絡(luò)爬蟲技術(shù)，根據(jù)設(shè)定的主題和關(guān)鍵字，定期從數(shù)據(jù)源處采集數(shù)據(jù)，并通過網(wǎng)頁排重和數(shù)據(jù)清洗，得到所需的專利文獻(xiàn)?？紤]到專利文本的特殊性，本文將專利標(biāo)題和摘要作為專利的原始文本。預(yù)處理和分類是文本分類的兩個重要步驟，針對專利文本非結(jié)構(gòu)化的特點(diǎn)，本文分析了文本預(yù)處理的各階段包括中文分詞、去除停用詞、利用信息增益進(jìn)行特征選擇和文本向量化過程，并計(jì)算了所需的詞頻、文檔頻率等相關(guān)的統(tǒng)計(jì)

3、量，同時結(jié)合MapRedece計(jì)算模型，設(shè)計(jì)實(shí)現(xiàn)了將整個文本預(yù)處理過程并行化處理的方法，并通過實(shí)驗(yàn)表明時間得到了很大的提升。根據(jù)本文的特點(diǎn)，對KNN進(jìn)行了優(yōu)化，提出了將類中心向量法和KNN相結(jié)合的方法，算法的主要思想是，在訓(xùn)練階段先將專利文獻(xiàn)根據(jù)均值法取得每個類的中心向量，作為初級分類器，然后測試文獻(xiàn)與其進(jìn)行相似度計(jì)算，找到距離最近的M個子類（M為系統(tǒng)手動輸入的閥值），然后在將文本與M個子類中的文本進(jìn)行計(jì)算，并用KNN算法找到最近的K個

4、專利文本，以此來判別測試文本的類別，通過降低進(jìn)行計(jì)算的訓(xùn)練文本的數(shù)量，減少計(jì)算量。本文通過實(shí)驗(yàn)也驗(yàn)證了改進(jìn)算法在不降低準(zhǔn)確性的情況下所需的時間比KNN少。專利地圖的展示，對分好類的專利文獻(xiàn)，采用均值法將其表示成一個類對應(yīng)一個向量文本即類別—中心向量，然后對各個類別分別進(jìn)行相似度計(jì)算，對取得的值在地圖上用線表示，類別表示為地圖上的圓圈，從而根據(jù)類別間的關(guān)系揭示專利之間的關(guān)系。
　　最后本文初步實(shí)現(xiàn)了專利地圖的構(gòu)建系統(tǒng)，實(shí)現(xiàn)了專利的技