基于鏈接路徑搜索的網(wǎng)頁(yè)命名實(shí)體提取研究.pdf

1、隨著計(jì)算機(jī)的快速普及和Internet技術(shù)的迅猛發(fā)展,網(wǎng)絡(luò)上的各種信息呈現(xiàn)指數(shù)級(jí)的增長(zhǎng),Web已經(jīng)成為一個(gè)巨大的信息資源庫(kù),從海量數(shù)據(jù)中快速、高效地獲取用戶需要的信息成為了一種挑戰(zhàn)。信息抽取旨在從無(wú)結(jié)構(gòu)或半結(jié)構(gòu)的Web文本中識(shí)別出用戶感興趣的數(shù)據(jù),并將其轉(zhuǎn)化為結(jié)構(gòu)良好、語(yǔ)義清晰的格式,以方便快速、準(zhǔn)確地獲取關(guān)鍵信息。命名實(shí)體提取作為信息抽取的子任務(wù)和關(guān)鍵技術(shù)之一,已引起了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。
　　針對(duì)傳統(tǒng)的命名實(shí)體提取方法需要對(duì)

2、訓(xùn)練集進(jìn)行一定規(guī)模的人工標(biāo)注,且所處理的基本上是新聞文本,包含的命名實(shí)體類別較少,算法的復(fù)雜度較高這一問(wèn)題,本文提出兩個(gè)新的網(wǎng)頁(yè)命名實(shí)體提取算法,探索最大程度地避免人工干預(yù)且高效、準(zhǔn)確的命名實(shí)體提取方案,提高命名實(shí)體提取的自動(dòng)化程度,增強(qiáng)可移植性。主要工作如下:
　　(1)通過(guò)分析實(shí)驗(yàn)數(shù)據(jù)集中個(gè)人網(wǎng)頁(yè)的URL特征發(fā)現(xiàn),同類別個(gè)人網(wǎng)頁(yè)的URL會(huì)具有一些共同的基本特征,由此,本文將這些基本特征和每類網(wǎng)頁(yè)特有的特征結(jié)合,構(gòu)建出一個(gè)自動(dòng)識(shí)

3、別個(gè)人網(wǎng)頁(yè)的分類器。
　　(2)提出一個(gè)針對(duì)人名的命名實(shí)體提取方法,該算法是基于鏈接路徑搜索的相關(guān)概念提出的,利用將錨文本和網(wǎng)頁(yè)標(biāo)題結(jié)合的機(jī)制進(jìn)行求解,不僅避免了僅考慮鄰近鏈接對(duì)網(wǎng)頁(yè)信息概括的不足,而且能夠高效、自動(dòng)地提取人名命名實(shí)體,經(jīng)過(guò)在選取的25個(gè)網(wǎng)站的個(gè)人網(wǎng)頁(yè)上進(jìn)行實(shí)驗(yàn),平均正確率達(dá)到了86.11％。
　　(3)Email命名實(shí)體提取算法采用“HttpClient”和“正則表達(dá)式”相結(jié)合的技術(shù)來(lái)實(shí)現(xiàn),通過(guò)對(duì)實(shí)驗(yàn)結(jié)果統(tǒng)