山東建筑大學計算機網絡課程設計《基于python的網絡爬蟲設計》

1、山東建筑大學山東建筑大學課程設計成果報告題目：基于Python的網絡爬蟲設計課程：計算機網絡A院（部）：管理工程學院專業(yè)：信息管理與信息系統(tǒng)班級：學生姓名：學號：指導教師：完成日期：01設計目的設計目的本課程設計是信息管理與信息系統(tǒng)專業(yè)重要的實踐性環(huán)節(jié)之一，是在學生學習完《計算機網絡》課程后進行的一次全面的綜合練習。本課程設計的目的和任務：1鞏固和加深學生對計算機網絡基本知識的理解和掌握；2培養(yǎng)學生進行對網絡規(guī)劃、管理及配置的能力或加深

2、對網絡協(xié)議體系結構的理解或提高網絡編程能力；3提高學生進行技術總結和撰寫說明書的能力。2設計任務內容設計任務內容網絡爬蟲是從web中發(fā)現(xiàn)下載以及存儲內容，是搜索引擎的核心部分。傳統(tǒng)爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定停止條件。參照開放源碼分析網絡爬蟲實現(xiàn)方法，給出設計方案，畫出設計流程圖。選擇自己熟悉的開發(fā)環(huán)境，實現(xiàn)網絡爬蟲抓取頁面、

3、從而形成結構化數據的基本功能，界面適當美化。給出軟件測試結果。3網絡爬蟲程序總體設計網絡爬蟲程序總體設計在本爬蟲程序中共有三個模塊：1、爬蟲調度端：啟動爬蟲，停止爬蟲，監(jiān)視爬蟲的運行情況2、爬蟲模塊：包含三個小模塊，URL管理器、網頁下載器、網頁解析器。（1）URL管理器：對需要爬取的URL和已經爬取過的URL進行管理，可以從URL管理器中取出一個待爬取的URL，傳遞給網頁下載器。（2）網頁下載器：網頁下載器將URL指定的網頁下載下來，