非結(jié)構(gòu)化數(shù)據(jù)信息提取的研究和實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)這個(gè)新興的信息傳遞媒體的迅猛發(fā)展，互聯(lián)網(wǎng)信息急劇膨脹，如何從海量網(wǎng)絡(luò)電子文檔中及時(shí)準(zhǔn)確地找到需要的信息己經(jīng)成為一個(gè)函待解決的問(wèn)題，信息抽取正是在這樣的背景下產(chǎn)生并發(fā)展起來(lái)的，它是一沖用于處理各種類型文本文檔的非常有效的方法。
　　 信息抽取把文本里包含的信息進(jìn)行結(jié)構(gòu)化處理，輸入是原始文本，輸出的是固定格式的信息內(nèi)容。信息內(nèi)容從各種各樣的文檔中被抽取出來(lái)，然后以統(tǒng)一的形式集成在一起。這就是信息抽取的主要任務(wù)。信息抽取技術(shù)

2、并不試圖全面理解整篇文檔，只是對(duì)文檔中包含相關(guān)信息的部分進(jìn)行分析。至于哪些信息是相關(guān)的，那將由系統(tǒng)設(shè)計(jì)時(shí)定下的應(yīng)用領(lǐng)域范圍而定。
　　 本文主要對(duì)中文信息抽取中規(guī)則的數(shù)字號(hào)碼信息和中文人名進(jìn)行了研究。規(guī)則的數(shù)字號(hào)碼信息作為獨(dú)立性強(qiáng)的信息可以基于正則表達(dá)式來(lái)識(shí)別，識(shí)別得到的結(jié)果可以通過(guò)上下文環(huán)境來(lái)判斷其準(zhǔn)確性；人名提取相對(duì)復(fù)雜，本文針對(duì)中文姓名構(gòu)成的一般規(guī)律和特點(diǎn)，提出一種基于姓氏用字驅(qū)動(dòng)的統(tǒng)計(jì)與規(guī)則相結(jié)合的混合中文姓名識(shí)別算法，

3、以姓氏用字為線索，通過(guò)分析上下文中漢字形成普通單詞的可能性來(lái)進(jìn)行人名識(shí)別。
　　 創(chuàng)新點(diǎn)在于把對(duì)提取結(jié)果的判準(zhǔn)放在了與提取過(guò)程同等重要的位置，通過(guò)證據(jù)融合的方法對(duì)提取的結(jié)果做出判決，這很好地融合了信息所在的上下文環(huán)境，也使得最終的提取結(jié)果準(zhǔn)確可信。在處理高沖突證據(jù)合成時(shí)，先做基于權(quán)重的預(yù)處理，突出重點(diǎn)證據(jù)，然后用Dempster法則進(jìn)行組合。這樣即避免了D-S證據(jù)理論在處理沖突證據(jù)時(shí)的不足，也使信息提取的問(wèn)題得到解決。實(shí)例表明，