支持云計算產(chǎn)品RIA模式頁面數(shù)據(jù)抓取的模型和策略研究.pdf

1、隨著云計算產(chǎn)業(yè)的發(fā)展，越來越多的云計算產(chǎn)品在市場上出現(xiàn)，這在給中小企業(yè)和其它用戶帶來更多降低企業(yè)和應(yīng)用成本的同時，也使得企業(yè)和用戶在面對大量產(chǎn)品信息的同時不知所措。這一方面是由于云產(chǎn)品具有可高度定制化的特點，令其信息量大增;另一方面是源自這些信息分散地存在于各云產(chǎn)品廠商的服務(wù)器上，難以進行集中處理。這些問題阻礙著企業(yè)和用戶在選擇云計算產(chǎn)品應(yīng)用云計算技術(shù)時的有效決策。在傳統(tǒng)互聯(lián)網(wǎng)領(lǐng)域，為了解決從海量信息中有效獲取有用信息這一問題，人們開發(fā)

2、了搜索引擎，通過抓取分散在Web上的信息，可以實現(xiàn)對Web信息的快速查詢。但Web發(fā)展到今天，信息在Web上的存在和展現(xiàn)方式已經(jīng)發(fā)生了翻天覆地的變化，以Ajax技術(shù)為基礎(chǔ)，應(yīng)用大量如jQuery等前端腳本技術(shù)的Web站點，已然形成了將大量信息隱藏在搜索引擎抓取能力之外的RIAs(Rich InternetApplications)，而云計算廠商的產(chǎn)品頁面則幾乎都是復(fù)雜的RIA。傳統(tǒng)搜索引擎出于技術(shù)和成本的考慮，在抓取RIA中的深層網(wǎng)信息

3、時力不從心。因此，為了抓取云計算廠商RIA頁面中的產(chǎn)品信息，給企業(yè)和用戶提供決策的支持，而要研究支持從RIA模式頁面中抓取信息的模型和策略。
　　本文通過對傳統(tǒng)Web抓取技術(shù)，也就是網(wǎng)絡(luò)爬蟲，以及現(xiàn)有的在支持Web2.0及Ajax的抓取技術(shù)方面的研究，提出了一個支持從RIA中抓取可定制化產(chǎn)品信息的抓取模型和策略。研究在通用的Scrapy抓取框架的基礎(chǔ)上，增加了用于存儲和處理抓取規(guī)則的功能，重寫了抓取算法，改善了調(diào)度方法，實現(xiàn)了腳本

4、解析、DOM操作和用戶事件觸發(fā)等機制。和傳統(tǒng)網(wǎng)絡(luò)爬蟲及現(xiàn)有支持Ajax抓取的系統(tǒng)不同，本模型和策略既不是一個通用的網(wǎng)絡(luò)爬蟲，也不是一個針對個別網(wǎng)站的專用抓取系統(tǒng)，通過特定的事件觸發(fā)和RIA頁面模型遍歷算法，本模型和策略可以通過解析抓取規(guī)則，實現(xiàn)對用戶可定制產(chǎn)品參數(shù)的產(chǎn)品RIA頁面進行抓取。本模型和策略與傳統(tǒng)網(wǎng)絡(luò)爬蟲的主要區(qū)別在于能對RIA頁面中的腳本進行解析，并根據(jù)腳本執(zhí)行結(jié)果操作頁面DOM，從而獲取隱藏在RIA中的深層信息;與現(xiàn)有的支