網(wǎng)絡(luò)知識資源深層表示學(xué)習(xí)模型研究.pdf

1、隨著電子計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)知識資源呈爆炸式增長，網(wǎng)絡(luò)資源內(nèi)容多樣，人們往往不能有效的獲取、利用所需的網(wǎng)絡(luò)知識資源。為了更好的利用網(wǎng)絡(luò)知識資源，需要應(yīng)用更加自動化、智能化的數(shù)據(jù)挖掘、信息提取方法。Web文檔作為網(wǎng)絡(luò)知識資源的一種載體，有著自然語言非結(jié)構(gòu)化的特點(diǎn)，所以在運(yùn)用聚類、分類等挖掘技術(shù)進(jìn)行文本挖掘之前，需要將Web文檔轉(zhuǎn)化為機(jī)器學(xué)習(xí)算法可以理解的格式，即將文本數(shù)據(jù)轉(zhuǎn)換成數(shù)值數(shù)據(jù)。本文主要對網(wǎng)絡(luò)知識資源的表示及其相關(guān)的

2、命名實(shí)體識別展開了深入的研究,首先對網(wǎng)絡(luò)知識資源的表示和領(lǐng)域命名實(shí)體識別的基本概念和理論進(jìn)行了歸納,分析了目前最為流行的向量空間模型與深度學(xué)習(xí)架構(gòu)的詞向量。在此基礎(chǔ)上,提出了一種基于命名實(shí)體和詞向量相結(jié)合的網(wǎng)絡(luò)知識資源深層表示方法，并在算法知識領(lǐng)域內(nèi)進(jìn)行實(shí)驗(yàn)檢驗(yàn)。論文主要在以下幾個方面展開了研究和探索:
　　首先，在調(diào)研了常見文本表示方法的基礎(chǔ)上，指出了最流行的文本表示方法向量空間模型的局限性，進(jìn)而利用命名實(shí)體和詞向量對文本深層語

3、法、語義挖掘的特點(diǎn)，提出了一種基于命名實(shí)體和詞向量相結(jié)合的網(wǎng)絡(luò)知識資源深層表示學(xué)習(xí)模型。
　　其次，作為本文所提出模型框架的第一部分，針對算法知識領(lǐng)域，展開命名實(shí)體識別研究與實(shí)驗(yàn)。進(jìn)行了Web文檔爬取、預(yù)處理和標(biāo)記語料等工作，完成了算法知識語料庫的建設(shè)，并以條件隨機(jī)場為主要算法，融合規(guī)則、詞典和統(tǒng)計(jì)方法于一體構(gòu)建模型，針對算法知識和網(wǎng)絡(luò)解題報(bào)告的特點(diǎn)，選取相關(guān)特征，生成特征模板，利用開源工具CRF++在算法知識語料庫上完成了訓(xùn)練過