分布式銀行網(wǎng)站網(wǎng)頁信息獲取系統(tǒng)實(shí)現(xiàn).pdf

1、近幾年來，互聯(lián)網(wǎng)迅猛發(fā)展，網(wǎng)絡(luò)中流通的Web信息量巨大，其中各國銀行網(wǎng)站發(fā)布的信息更是受到金融界的廣泛關(guān)注。對(duì)互聯(lián)網(wǎng)上各國銀行網(wǎng)站發(fā)布的匯率、利率等財(cái)政信息進(jìn)行長期的統(tǒng)計(jì)，也就成為了解其他國家財(cái)政、經(jīng)濟(jì)政策的一種主要手段。針對(duì)當(dāng)前的實(shí)際需求，對(duì)網(wǎng)頁信息獲取及計(jì)算技術(shù)的研究成為當(dāng)前和未來一段時(shí)期內(nèi)學(xué)術(shù)研究的重點(diǎn)。做為我國央行的人民銀行，在此方面投入了大量的科研資金，各個(gè)地方人民銀行也積極地進(jìn)行這方面的研究工作。針對(duì)這一情況，本文展開了基于

2、廣域網(wǎng)的分布式銀行網(wǎng)站網(wǎng)頁信息獲取系統(tǒng)的研究與實(shí)現(xiàn)。
　　網(wǎng)頁信息獲取系統(tǒng)（網(wǎng)絡(luò)爬蟲）研究中最重要的是設(shè)計(jì)構(gòu)架和關(guān)鍵技術(shù)的解決。在吸取了他人技術(shù)和經(jīng)驗(yàn)的基礎(chǔ)上，本文設(shè)計(jì)描述了一個(gè)基于廣域網(wǎng)的分布式網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)設(shè)計(jì)，其中包括硬件的構(gòu)架，和軟件的模塊劃分。硬件部分由一臺(tái)PC機(jī)做控制節(jié)點(diǎn)，N臺(tái)PC機(jī)做爬行節(jié)點(diǎn)，在廣域網(wǎng)中連接。軟件部分又分為控制節(jié)點(diǎn)軟件設(shè)計(jì)和爬行節(jié)點(diǎn)軟件設(shè)計(jì)。
　　然后本文分析了分布式網(wǎng)絡(luò)爬蟲的關(guān)鍵技術(shù)的解決方法

3、，比如分布式的各個(gè)結(jié)點(diǎn)如何協(xié)同工作，任務(wù)如何分配等等，進(jìn)而提出了一些實(shí)用的算法，解決了這些分布式網(wǎng)絡(luò)爬蟲的關(guān)鍵技術(shù)，實(shí)現(xiàn)了一個(gè)具備健壯性，可擴(kuò)展性，可配置性的分布式網(wǎng)絡(luò)爬蟲，并就該分布式網(wǎng)絡(luò)爬蟲進(jìn)行了仔細(xì)的剖析。特別是對(duì)分布式系統(tǒng)的任務(wù)分配，采用了網(wǎng)絡(luò)性能指標(biāo)指導(dǎo)預(yù)測效果法。最后在該網(wǎng)絡(luò)爬蟲上作了一些測試，包括了單機(jī)爬行測試和該網(wǎng)絡(luò)爬蟲的一個(gè)應(yīng)用，即銀行網(wǎng)站網(wǎng)頁信息的抓取測試。以及對(duì)多種分布式系統(tǒng)任務(wù)分配的方法指導(dǎo)下實(shí)際運(yùn)行的效果進(jìn)行了