正則表達(dá)式在網(wǎng)頁(yè)數(shù)據(jù)采集的應(yīng)用與研究.pdf

1、隨著Internet的快速發(fā)展與普及，人們?cè)絹?lái)越習(xí)慣于通過(guò)各種終端(PC、平板、手機(jī)等)從互聯(lián)網(wǎng)來(lái)獲取信息?；赪eb的信息抽取技術(shù)就是研究從這些Web網(wǎng)頁(yè)中如何定制提取出用戶需要的信息，并把這些提取出的信息結(jié)構(gòu)化處理。本文的主要工作是采用基于正則表達(dá)式的相關(guān)技術(shù)，以學(xué)術(shù)谷歌網(wǎng)站的論文采集以及澳客彩票網(wǎng)站的足彩投注數(shù)據(jù)采集分析兩個(gè)應(yīng)用為實(shí)例，給出Web網(wǎng)頁(yè)信息的自動(dòng)提取問(wèn)題解決方法。在實(shí)現(xiàn)基于NFA引擎正則表達(dá)式網(wǎng)頁(yè)提取基本功能的基礎(chǔ)上

2、，本文還對(duì)正則表達(dá)式的優(yōu)化進(jìn)行了分析和比較。本文在網(wǎng)頁(yè)正則提取的過(guò)程中進(jìn)行了兩輪的優(yōu)化和分析，分別為基于NFA引擎的表達(dá)式優(yōu)化以及在Windows平臺(tái)下結(jié)合NFA引擎與DFA引擎使用的優(yōu)化分析和比較，其結(jié)果以圖表的形式加以展示。本文實(shí)現(xiàn)兩個(gè)網(wǎng)頁(yè)實(shí)例采集的解決方案是:首先使用RegexBuddy3工具對(duì)目標(biāo)網(wǎng)頁(yè)源文件調(diào)試正則表達(dá)式，然后在.Net平臺(tái)下，利用測(cè)試通過(guò)的正則表達(dá)式編程實(shí)現(xiàn)網(wǎng)頁(yè)文件正則匹配提取字段、數(shù)據(jù)記錄寫入Oracle數(shù)據(jù)