基于分布式網(wǎng)絡(luò)爬蟲的Web空間數(shù)據(jù)獲取與管理方法研究.pdf

1、GIS是一門以數(shù)據(jù)為基礎(chǔ)的學(xué)科，空間分析、空間統(tǒng)計和空間數(shù)據(jù)挖掘等研究都離不開空間數(shù)據(jù)的支撐，而互聯(lián)網(wǎng)中存在著海量的空間數(shù)據(jù)，這些數(shù)據(jù)與人們的日常生活活動密切相關(guān)并且包含的信息量十分豐富、現(xiàn)勢性極強。如果能夠?qū)ヂ?lián)網(wǎng)中廣泛存在的空間數(shù)據(jù)進行高效地獲取、解析與管理，一方面不僅可以補充基礎(chǔ)地理信息的不足，提供豐富的細節(jié)和準實時更新，另一方面還能夠為GIS空間分析和空間數(shù)據(jù)挖掘提供更為豐富和實時的數(shù)據(jù)源。
　　Web空間數(shù)據(jù)獲取與管理首

2、先需要對多源異構(gòu)Web空間數(shù)據(jù)進行獲取，然后需要對獲取到的數(shù)據(jù)進行細粒度的解析，從中提取出感興趣的位置和屬性信息。進一步的，還需要解決多源異構(gòu)Web空間數(shù)據(jù)的存儲與管理問題。因此，本文針對單機網(wǎng)絡(luò)爬蟲獲取Web空間數(shù)據(jù)在抓取覆蓋率和抓取效率上受到限制，難以保證抓取數(shù)據(jù)的及時性和全面性問題，研究了基于分布式網(wǎng)絡(luò)爬蟲的Web空間數(shù)據(jù)獲取方法。針對不同來源Web空間數(shù)據(jù)結(jié)構(gòu)內(nèi)容不同，周期性更新、解析困難的問題，研究了基于模板映射的Web空間數(shù)

3、據(jù)解析方法。針對關(guān)系型數(shù)據(jù)庫管理系統(tǒng)處理多源異構(gòu)Web空間數(shù)據(jù)困難的問題，研究了基于非關(guān)系型數(shù)據(jù)庫MongoDB的Web空間數(shù)據(jù)管理方法。最后基于上述方法，研發(fā)了Web空間數(shù)據(jù)獲取原型系統(tǒng)，實現(xiàn)了Web空間數(shù)據(jù)的高效獲取、解析與管理，通過對原型系統(tǒng)進行測試證實了本文所述方法的有效性并對系統(tǒng)進行了實例應(yīng)用。
　　通過以上的研究工作，得出如下結(jié)論:
　　(1)基于分布式網(wǎng)絡(luò)爬蟲的Web空間數(shù)據(jù)獲取方法能夠提高Web空間數(shù)據(jù)獲取效

4、率。本文設(shè)計和實現(xiàn)的Web空間數(shù)據(jù)獲取原型系統(tǒng)能夠穩(wěn)定運行，系統(tǒng)具有良好的擴展性，系統(tǒng)各個節(jié)點之間能夠?qū)崿F(xiàn)負載均衡。
　　(2)基于模板映射的Web空間數(shù)據(jù)解析方法能夠?qū)崿F(xiàn)多源異構(gòu)Web空間數(shù)據(jù)的自動化、高準確度解析。在解析準確率方面，基于模板映射的解析方法與傳統(tǒng)的正則表達式解析法相當。在解析召回率方面，基于模板映射的解析方法優(yōu)于傳統(tǒng)正則表達式解析法。
　　(3)基于MongoDB的Web空間數(shù)據(jù)存儲與管理方法能夠?qū)崿F(xiàn)多源異