微博實體與百科條目鏈接的多策略研究.pdf

1、近年來，隨著WEB2.0技術及互聯(lián)網(wǎng)產業(yè)的興起，社交網(wǎng)絡空前發(fā)展，衍生出的一種新型社交網(wǎng)絡平臺，微博，其用戶規(guī)模和產生的數(shù)據(jù)量急劇增長。另一方面，WEB2.0技術也帶來了網(wǎng)絡百科的迅速發(fā)展，如何利用社交媒體及網(wǎng)絡內容進行知識庫的構建與擴展成為當今研究熱點。其中，待拓展實體條目的歧義問題成為該研究領域的重點難點，實體鏈接技術是解決該問題的重要方法。本文針對中文微博內容簡短、語言隨意不規(guī)范等特性，提出了中文微博實體鏈接消歧的多策略方法。

2、r>　　中文微博實體與百科條目的鏈接，即對微博內容中出現(xiàn)的待測命名實體與百科知識庫中的條目進行匹配，要求將微博中出現(xiàn)的實體與百科條目準確鏈接。中文微博實體與百科條目的鏈接研究從屬于命名實體識別(Named Entity Recognition，NER)下命名實體消歧(NED，Named Entity Disambiguation)研究課題，是自然語言處理(NLP，Natural Language Processing)研究領域中的一項熱

3、點研究，在自然語言處理的研究領域中起重要作用，是不可缺少的研究基礎。提升中文微博實體鏈接消歧的準確性，可以更好地構建與擴展網(wǎng)絡百科知識庫，體現(xiàn)自然語言處理系統(tǒng)的通用性高與性能好的特點。
　　本文以參加的中國計算機學會(CCF, China Computer Federation)主辦的自然語言處理與中文計算會議(NLP&CC，CCF Conference on Natural Language Processing&Chinese

4、 Computing)的評測任務為主要研究內容。編寫網(wǎng)頁爬蟲程序，獲取微博內容及網(wǎng)絡百科頁面信息，構建百科實體映射表及梳理百科條目知識庫。使用LDA模型，基于主題模型的消歧算法對人名實體進行消歧。集合基于實體映射表的匹配消歧算法、基于TF-IDF的實體義項特征消歧算法、基于實體義項標簽的消歧算法和基于Fast-Newman聚類模型實體消歧算法對中文微博實體進行消歧，本文主要貢獻包括:
　　(1)構建和梳理百科條目知識庫及實體映射表

5、。
　　(2)提出基于主題模型的人名消歧算法。
　　(3)提出多層級、多策略的實體消歧算法。
　　(4)編寫中文微博實體識別系統(tǒng)和百科知識庫程序，并申請軟件著作權。
　　本文數(shù)據(jù)來源于第二屆和第三屆自然語言處理與中文計算會議(NLP&CC2013、2014)中的中文微博實體鏈接任務，其中在2013年評測中，知識庫實體數(shù)為44492個，待測實體數(shù)為1274個。在2014年評測中，知識庫實體數(shù)為378207個，待測實