漢語人名消歧算法研究.pdf

1、人名歧義是一種實(shí)體對(duì)象的身份不確定的現(xiàn)象，是自然語言處理領(lǐng)域中的一個(gè)重要問題。隨著全球互聯(lián)網(wǎng)技術(shù)的發(fā)展以及大數(shù)據(jù)時(shí)代的來臨，越來越多的互聯(lián)網(wǎng)應(yīng)用已經(jīng)步入歷史舞臺(tái)。隨著這些應(yīng)用的興起以及研究的深入，人名的實(shí)體指向在諸多新的應(yīng)用領(lǐng)域中已經(jīng)起到了至關(guān)重要的作用，包括在搜索引擎、社會(huì)網(wǎng)絡(luò)和人名知識(shí)庫構(gòu)建等領(lǐng)域。目前，越來越多的應(yīng)用都本著以人為本和私人定制的宗旨服務(wù)大眾，因此如何有效地消除由于人名相同帶來的歧義已經(jīng)成為國內(nèi)外非常重要的研究課題，而

2、國內(nèi)漢語人名歧義的研究也面臨著巨大的挑戰(zhàn)。所以本文的研究內(nèi)容是旨在找到一套模型和算法，能夠行而有效的消除文本信息中的人名歧義。
　　本文人名消歧算法的主要研究思路，首先通過對(duì)包含有指定人名的文本提取出文本的關(guān)鍵詞特征，利用這些文本的關(guān)鍵詞特征通過算法進(jìn)行比對(duì)來辨別文本間的相似性。根據(jù)文本特征的相似性來判斷在不同的文本間出現(xiàn)的相同人名是否指向同一實(shí)體對(duì)象，從而實(shí)現(xiàn)人名歧義的消除。具體做法是利用TF-IDF算法對(duì)文本提取出來帶有權(quán)重的

3、關(guān)鍵詞，生成文本的特征向量。利用TF-IDF算法能夠有效地將詞頻與逆文檔詞頻相結(jié)合，既反映出詞語的反復(fù)出現(xiàn)的重要性也能夠降低常用詞的重要性。在對(duì)不同的特征向量利用空間向量的余弦定理的公式，計(jì)算出不同的特征向量間的相似性，并且利用向量間夾角的大小來判斷人名歧義。實(shí)驗(yàn)過程中的算法設(shè)計(jì)從簡單到復(fù)雜，在進(jìn)一步對(duì)算法的特性和特征進(jìn)行討論之后，提出了算法的改進(jìn)策略。提出了多特征融合的向量集、特征向量集的規(guī)范化修正、文本特征的向量內(nèi)特征方向上增強(qiáng)以及