學(xué)術(shù)主頁信息抽取系統(tǒng)的研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，海量的數(shù)據(jù)以網(wǎng)頁的形式發(fā)布到互聯(lián)網(wǎng)上。傳統(tǒng)的網(wǎng)頁是面向用戶而設(shè)計的，人們可以通過瀏覽器可視化的閱讀信息。然而對于機(jī)器來說，這些信息是難以理解的，不僅僅是因為其使用自然語言，也因為網(wǎng)頁的表達(dá)形式具有隨意性。網(wǎng)頁信息抽取技術(shù)是一種對網(wǎng)頁進(jìn)行深度分析的技術(shù)，其主要目的是自動的從非結(jié)構(gòu)化的文檔中抽取出結(jié)構(gòu)化的信息。由于網(wǎng)頁主要使用自然文本描述，因此同樣面臨著同文本信息抽取相似的問題與挑戰(zhàn)。
　　 LineX是一個學(xué)

2、術(shù)主頁抽取系統(tǒng)，系統(tǒng)能夠自動化的發(fā)現(xiàn)學(xué)術(shù)個人主頁并從學(xué)術(shù)主頁上抽取出作者的個人信息和每年發(fā)表文章的信息。抽取結(jié)果經(jīng)過進(jìn)一步分析被集成到文獻(xiàn)檢索系統(tǒng)中。由于作者主頁在風(fēng)格和內(nèi)容上都存在差異，因此基于規(guī)則的抽取方法往往無法取得很好的效果。LineX的核心抽取算法基于機(jī)器學(xué)習(xí)方法，包括支持向量機(jī)模型和條件隨機(jī)場模型，其中支持向量機(jī)主要用來對信息進(jìn)行分類，而條件隨機(jī)場則用來對信息進(jìn)行字段分割提取。系統(tǒng)首先利用HTML標(biāo)簽的語義特征將頁面分割成文

3、本單元。然后對文本單元進(jìn)行分類和字段提取，之后進(jìn)行裁剪和規(guī)范化映射。在抽取過程中，系統(tǒng)充分利用利用了網(wǎng)頁所提供的額外信息，包括標(biāo)題，DOM樹，標(biāo)簽分隔等。此外針對機(jī)器學(xué)習(xí)算法在一些情況下的盲點，使用了啟發(fā)式規(guī)則來進(jìn)行輔助，提高了整體的抽取效果。
　　 經(jīng)過對互聯(lián)網(wǎng)的數(shù)據(jù)進(jìn)行隨機(jī)抽樣和測試，結(jié)果表明系統(tǒng)對頁面的變化具有較強(qiáng)的適應(yīng)能力，在各項信息的抽取準(zhǔn)確率上都達(dá)到的較高的水平。實驗同時說明詞典特征和HTML特征對最終的識別率起到了