面向專題應用的開源情報挖掘系統(tǒng)研究與應用.pdf

1、情報是對已有信息進行分析、加工之后，得到有用信息的過程，情報的獲取歷來在人類活動中占用重要地位。信息技術的高速發(fā)展給情報工作帶來了新的機遇和挑戰(zhàn)，從根本上改變了情報的獲取途徑和研究方法，開源情報已經(jīng)成為了各組織獲取情報的主要方式。
　　本文介紹了在開源情報挖掘過程中用到的相關技術和工具，包括網(wǎng)絡爬蟲技術、文本處理技術和數(shù)據(jù)庫技術，這些技術都是目前大數(shù)據(jù)領域研究的熱點，將這些技術用于開源情報的分析處理中，不僅僅是對已有工具的簡單應用

2、，更能促進相關領域的發(fā)展。在文本數(shù)據(jù)的挖掘中，基于傳統(tǒng)向量空間模型的方法由于沒能很好的利用文本語義信息，在某些場景下表現(xiàn)出其不足之處，本文研究了將主題模型用于文本特征表示，并通過實驗對比和分析表明了該方法在文本特征降維和文本聚類中效果更好。情報要素是情報的核心內(nèi)容，蘊含了情報中大部分信息，在情報分析過程中非常重要，本文研究了兩種用于情報要素提取的方法，并對比分析了兩種方法各自的優(yōu)缺點，提出了一些改進策略，取得了良好的效果。情報文本的聚類

3、則是另一個重要的主題，目的是將描述相同主題的情報歸入同一類別，不同的情報歸入不同類別，由于開源情報主要來源是互聯(lián)網(wǎng)，因此有必要對開源情報進行在線聚類，本文對Single-Pass進行了簡單改進，實驗表明效果有一定提升。本文最后通過實際應用，展示了開源情報在軍事專題上的應用，通過實際編程完成了一個系統(tǒng)原型，并介紹了其中關鍵的幾個部分實現(xiàn)過程，包括網(wǎng)絡爬蟲的編寫和處理各類不同網(wǎng)頁的方法，并介紹了數(shù)據(jù)庫的設計，最后展示了系統(tǒng)對情報分析之后得到