非結(jié)構(gòu)化數(shù)據(jù)采集和檢索技術(shù)的研究和應(yīng)用.pdf

1、計(jì)算機(jī)信息化系統(tǒng)中的數(shù)據(jù)分為結(jié)構(gòu)化和非結(jié)構(gòu)化兩類組織形式。非結(jié)構(gòu)化數(shù)據(jù)是指沒(méi)有預(yù)定義的組織方式或不便用二維數(shù)據(jù)結(jié)構(gòu)表來(lái)表示的數(shù)據(jù)。事實(shí)上80％業(yè)務(wù)相關(guān)的信息都來(lái)源于非結(jié)構(gòu)化數(shù)據(jù)文本。因此，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)采集和檢索技術(shù)的研究已經(jīng)從上世紀(jì)延續(xù)至今。隨著因特網(wǎng)和Web應(yīng)用的普及，信息無(wú)處不在，非結(jié)構(gòu)化數(shù)據(jù)采集和檢索技術(shù)仍然是一個(gè)值得研究和實(shí)踐的課題。
　　 非結(jié)構(gòu)化數(shù)據(jù)處理的基礎(chǔ)是信息提取。只有提取了非結(jié)構(gòu)化數(shù)據(jù)文本的關(guān)鍵信息，才能

2、對(duì)信息作進(jìn)一步的分析處理，使得非結(jié)構(gòu)化數(shù)據(jù)得到有效利用。
　　 本文將城市安全生產(chǎn)監(jiān)管信息系統(tǒng)的一個(gè)功能模塊——通知/公文管理模塊作為研究對(duì)象。利用開源程序庫(kù)，對(duì)不同類型的非結(jié)構(gòu)化文件進(jìn)行關(guān)鍵信息提取，完成非結(jié)構(gòu)化數(shù)據(jù)的采集，改變了人工錄入數(shù)據(jù)信息的傳統(tǒng)方式。對(duì)所采集的關(guān)鍵內(nèi)容進(jìn)行全文檢索，使得非結(jié)構(gòu)化數(shù)據(jù)的歸檔和檢索成為安全生產(chǎn)監(jiān)管信息系統(tǒng)中的一個(gè)重要應(yīng)用功能。本文主要的研究工作概述如下:
　　 1)研究和利用開源庫(kù)對(duì)