大數(shù)據(jù)環(huán)境下實體關(guān)系挖掘關(guān)鍵技術(shù)研究.pdf

1、實體關(guān)系挖掘是具有重要意義的研究課題。實體關(guān)系挖掘的根本任務(wù)是從文本數(shù)據(jù)中發(fā)現(xiàn)實體與實體之間的關(guān)系。隨著計算機技術(shù)和互聯(lián)網(wǎng)的不斷發(fā)展，當(dāng)今社會已經(jīng)步入大數(shù)據(jù)時代。文本數(shù)據(jù)量的增長在提供了更多實體關(guān)系數(shù)據(jù)的同時，也對實體關(guān)系挖掘的研究方法提出了更高的要求。
　　本文對實體關(guān)系挖掘相關(guān)技術(shù)進(jìn)行了總結(jié)，重點研究了在關(guān)系挖掘領(lǐng)域內(nèi)占主導(dǎo)地位的有監(jiān)督的實體關(guān)系挖掘方法。論文在分析了有監(jiān)督方法中涉及的相關(guān)技術(shù)的基礎(chǔ)上，針對其中的不足和在大數(shù)據(jù)

2、環(huán)境下存在的問題進(jìn)行了研究。主要工作包括以下幾個方面:
　　(1)論文提出了一種基于詞性加權(quán)的語義序列核函數(shù)，用以計算實體關(guān)系的相似度?；谠~性加權(quán)的語義序列核函數(shù)對已有的語義序列核函數(shù)方法進(jìn)行了擴充，在保留了原方法在句式結(jié)構(gòu)分析和語義分析等方面的優(yōu)勢的基礎(chǔ)上，增加了對應(yīng)詞性知識的影響因子。這使得關(guān)系相似度計算更加符合語言特征，相似度計算結(jié)果更加準(zhǔn)確，進(jìn)而保證關(guān)系挖掘的正確性。
　　(2)分類算法是有監(jiān)督實體關(guān)系挖掘體系的重

3、要組成部分。針對訓(xùn)練樣本集較大環(huán)境下KNN分類算法的計算效率低的問題和訓(xùn)練樣本不均衡對分類準(zhǔn)確度造成影響的問題，本文提出了一種基于Fisher準(zhǔn)則和層次聚類的KNN樣本空間修剪算法。算法在剔除訓(xùn)練樣本集中的部分?jǐn)?shù)據(jù)的同時，使得樣本在各類之間分布趨于均勻。算法在提高KNN分類效率的基礎(chǔ)上，保持了良好的分類準(zhǔn)確率和召回率。
　　(3)論文結(jié)合目前的大數(shù)據(jù)處理框架MapReduce，針對關(guān)系挖掘過程中數(shù)據(jù)的特點，設(shè)計了一種基于MapRe