相關(guān)實(shí)體抽取和主頁(yè)及支持文檔查找研究.pdf

1、隨著Internet的高速發(fā)展，Web已經(jīng)形成一個(gè)規(guī)模龐大種類繁多的信息資源庫(kù)。實(shí)體抽取是從Web海量數(shù)據(jù)中快速準(zhǔn)確地提取有效信息，目前成為國(guó)內(nèi)外信息處理、問(wèn)答系統(tǒng)和實(shí)體檢索研究的熱點(diǎn)和重點(diǎn)，同時(shí)也成為歷屆國(guó)際著名評(píng)測(cè)會(huì)議TREC主要研究目標(biāo)之一。TREC Entity2011的相關(guān)實(shí)體查找(REF)子任務(wù)要解決的核心問(wèn)題，即通過(guò)給出源實(shí)體及其主頁(yè)、目標(biāo)實(shí)體類型以及源實(shí)體和目標(biāo)實(shí)體間的自然語(yǔ)言關(guān)系描述，找出源實(shí)體的所有目標(biāo)實(shí)體。本文建立

2、了一個(gè)包括文檔檢索、實(shí)體名抽取、實(shí)體名篩選、實(shí)體名排序以及實(shí)體主頁(yè)和支持文檔查找等多階段的相關(guān)實(shí)體查找系統(tǒng)模型框架，采用自然語(yǔ)言處理技術(shù)和命名實(shí)體識(shí)別方法，從海量文本數(shù)據(jù)中抽取相關(guān)實(shí)體及查找主頁(yè)和支持文檔來(lái)滿足輸入查詢，從而高效地完成TREC評(píng)測(cè)任務(wù)并取得國(guó)際排名第二的成績(jī)。
　　 本文主要包含了以下幾個(gè)研究方面:
　　 1.在實(shí)體抽取階段提出了一個(gè)計(jì)算實(shí)體名排序得分的算法。該方法綜合考慮了實(shí)體TF-IDF權(quán)重、網(wǎng)頁(yè)排序

3、、源實(shí)體和目標(biāo)實(shí)體之間的置信度以及多關(guān)鍵字等因素，通過(guò)這些因素的線性加權(quán)組合成為計(jì)算實(shí)體名得分的標(biāo)準(zhǔn)公式，并將相關(guān)候選實(shí)體得分大小作為按序排列實(shí)體名的依據(jù)，TREC Entity2011相關(guān)實(shí)體查找任務(wù)測(cè)試結(jié)果表明，該方法具有良好的效果，在實(shí)驗(yàn)結(jié)果中MAP指標(biāo)達(dá)到了0.1266。
　　 2.在主頁(yè)查找階段提出了一種基于權(quán)威頁(yè)面和頁(yè)面特征的主頁(yè)識(shí)別算法。該方法通過(guò)在ClueWeb09 API和Google中輸入目標(biāo)實(shí)體名檢索出前1