中文跨文檔指代消解的研究與實現(xiàn).pdf

1、跨文檔指代消解是自然語言處理的重點和難點之一,是信息檢索,信息抽取,多文檔摘要等應用系統(tǒng)的重要組成部分。在數(shù)十年中,指代消解的研究只是局限于單篇文檔內(nèi)的研究。隨著研究的深入,跨文檔指代消解越來越受到青睞,因為它在篇章之間也構(gòu)建了多條指代鏈,不僅可以獲得關(guān)于某個實體更詳細的信息,而且能將一些很有價值的信息反饋到指代消解的研究中,使指代消解取得突破性的進展。
　　 由于中文跨文檔指代消解的研究尚且處于起步階段。本文深入分析現(xiàn)有的英文

2、跨文檔指代消解技術(shù),設計了中文跨文檔指代消解的系統(tǒng),該系統(tǒng)包括中文人名跨文檔指代消解和中文地名跨文檔指代消解兩部分。對于中文人名跨文檔指代消解,提出兩步實現(xiàn)的方案:首先抽取傳記信息、相容信息,對指代鏈進行簡單的合并、分離和標記,形成初始的指代鏈集合。然后采用基于向量空間模型(VSM)的聚類方法對指代鏈進行聚類,形成最終的指代鏈集合。對于中文地名跨文檔指代消解,提出通過文檔層信息的抽取與基于VSM的聚類相結(jié)合的策略來實現(xiàn)。此外,由于中文跨

3、文檔指代消解語料庫的缺乏,我們從搜索引擎上搜集和整理了113篇具有相同人名“張偉”的文檔和30篇具有相同地名“通州”的文檔,對這些文檔進行預處理、人工校對和核對后作為中文人名和地名的語料庫。本文采用B-CUBED算法對系統(tǒng)進行評估,在中文人名語料庫上,其F值最高為95.71％,對應的準確率和召回率為92.41％和99.25％。在中文地名語料庫上,其F最高為89.30％,對應的準確率和召回率為100％年1180.66％。
　　 特