相關實體抽取和主頁及支持文檔查找研究.pdf

1、隨著Internet的高速發(fā)展，Web已經(jīng)形成一個規(guī)模龐大種類繁多的信息資源庫。實體抽取是從Web海量數(shù)據(jù)中快速準確地提取有效信息，目前成為國內(nèi)外信息處理、問答系統(tǒng)和實體檢索研究的熱點和重點，同時也成為歷屆國際著名評測會議TREC主要研究目標之一。TREC Entity2011的相關實體查找(REF)子任務要解決的核心問題，即通過給出源實體及其主頁、目標實體類型以及源實體和目標實體間的自然語言關系描述，找出源實體的所有目標實體。本文建立

2、了一個包括文檔檢索、實體名抽取、實體名篩選、實體名排序以及實體主頁和支持文檔查找等多階段的相關實體查找系統(tǒng)模型框架，采用自然語言處理技術和命名實體識別方法，從海量文本數(shù)據(jù)中抽取相關實體及查找主頁和支持文檔來滿足輸入查詢，從而高效地完成TREC評測任務并取得國際排名第二的成績。
　　 本文主要包含了以下幾個研究方面:
　　 1.在實體抽取階段提出了一個計算實體名排序得分的算法。該方法綜合考慮了實體TF-IDF權重、網(wǎng)頁排序

3、、源實體和目標實體之間的置信度以及多關鍵字等因素，通過這些因素的線性加權組合成為計算實體名得分的標準公式，并將相關候選實體得分大小作為按序排列實體名的依據(jù)，TREC Entity2011相關實體查找任務測試結(jié)果表明，該方法具有良好的效果，在實驗結(jié)果中MAP指標達到了0.1266。
　　 2.在主頁查找階段提出了一種基于權威頁面和頁面特征的主頁識別算法。該方法通過在ClueWeb09 API和Google中輸入目標實體名檢索出前1