科技成果的自動(dòng)提取與融合.pdf

1、從Web頁面中抽取出學(xué)術(shù)成果信息并加以融合，能夠幫助實(shí)現(xiàn)學(xué)術(shù)成果的科學(xué)管理，同時(shí)能夠?yàn)閷＜覍W(xué)術(shù)軌跡的深入挖掘提供重要的基礎(chǔ)資源?，F(xiàn)有的信息抽取系統(tǒng)對(duì)Web頁面結(jié)構(gòu)的頻繁變化的適應(yīng)性較低，同時(shí)由于資源規(guī)模巨大，信息存在高冗余度、低可信度、描述方式不一致等問題，導(dǎo)致結(jié)果的準(zhǔn)確性難以得到保證。因此本論文面向?qū)＜铱萍汲晒畔?，重點(diǎn)聚焦Web信息融合中的抽取和去重兩項(xiàng)關(guān)鍵技術(shù)進(jìn)行研究。
　　雖然目前存在多種Web信息抽取方式，但它們要么強(qiáng)烈

2、依賴于抽取模板，要么對(duì)網(wǎng)頁結(jié)構(gòu)的變化有嚴(yán)格要求，針對(duì)此問題，本論文提出一種基于空間連接和DOM相結(jié)合的Web信息抽取算法(Spatial Relation Based DOM，簡(jiǎn)稱SRB-DOM)，實(shí)現(xiàn)從Web頁面中抽取出成果信息。該方法將DOM樹中的各個(gè)元素節(jié)點(diǎn)映射成二維空間中的對(duì)象，利用矩形代數(shù)中的相關(guān)理論得到各個(gè)對(duì)象之間空間關(guān)系的描述，利用元素節(jié)點(diǎn)之間的空間關(guān)系，抽取出成果信息的元數(shù)據(jù)，然后根據(jù)最大無連接邊界元組構(gòu)建完整的成果記錄

3、，最終實(shí)現(xiàn)成果信息的抽取。分析與模擬實(shí)驗(yàn)結(jié)果表明，該方法在對(duì)頁面結(jié)構(gòu)變化的適應(yīng)性方面遠(yuǎn)優(yōu)于現(xiàn)有的基于路徑的信息抽取算法。
　　信息源的多樣性和描述方式的不同導(dǎo)致存在大量相似或重復(fù)的抽取結(jié)果，因此在對(duì)成果信息作進(jìn)一步的融合與挖掘之前，必須對(duì)其進(jìn)行一定的清洗工作。本文利用熵增度量成果記錄中各個(gè)數(shù)據(jù)項(xiàng)的重要性程度，依此對(duì)各數(shù)據(jù)項(xiàng)分配權(quán)值，完成成果記錄間相似度的計(jì)算，實(shí)現(xiàn)對(duì)成果的分類。在此之后，論文提出了一種基于數(shù)據(jù)標(biāo)準(zhǔn)化的成果記錄完整化

4、算法(Data Standardization Based RecordCombine，簡(jiǎn)稱DSBRC)，該算法首先對(duì)成果記錄進(jìn)行基于特征的描述標(biāo)準(zhǔn)化，然后據(jù)此對(duì)每條成果記錄的數(shù)據(jù)狀態(tài)進(jìn)行標(biāo)注，得到數(shù)據(jù)狀態(tài)矩陣，根據(jù)該矩陣得到成果記錄的完整描述信息。分析與實(shí)驗(yàn)結(jié)果表明，該算法在結(jié)果的準(zhǔn)確度和完整度方面由于其他同類算法。
　　Web信息抽取適應(yīng)頁面結(jié)構(gòu)變化的能力對(duì)系統(tǒng)的實(shí)用性有很重要的影響，所以應(yīng)當(dāng)盡可能提高信息抽取系統(tǒng)對(duì)頁面結(jié)構(gòu)變