python爬蟲(chóng)入門教程

1、第1頁(yè)共193頁(yè)P(yáng)ython爬蟲(chóng)入門三之Urllib庫(kù)的基本使用Python崔慶才5個(gè)月前(0212)13660℃13評(píng)論那么接下來(lái)，小伙伴們就一起和我真正邁向我們的爬蟲(chóng)之路吧。1.1.分分鐘扒一個(gè)網(wǎng)頁(yè)下來(lái)分分鐘扒一個(gè)網(wǎng)頁(yè)下來(lái)怎樣扒網(wǎng)頁(yè)呢？其實(shí)就是根據(jù)URL來(lái)獲取它的網(wǎng)頁(yè)信息，雖然我們?cè)跒g覽器中看到的是一幅幅優(yōu)美的畫(huà)面，但是其實(shí)是由瀏覽器解釋才呈現(xiàn)出來(lái)的，實(shí)質(zhì)它是一段HTML代碼，加JS、CSS，如果把網(wǎng)頁(yè)比作一個(gè)人，那么HTML便是他

2、的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我們就寫(xiě)個(gè)例子來(lái)扒一個(gè)網(wǎng)頁(yè)下來(lái)。1234impturllib2response=urllib2.urlopen(““)printresponse.read()是的你沒(méi)看錯(cuò)，真正的程序就兩行，把它保存成demo.py，進(jìn)入該文件的目錄，執(zhí)行如下命令查看運(yùn)行結(jié)果，感受一下。1pythondemo.py第3頁(yè)共193頁(yè)1urlopen(urldatatim

3、eout)第一個(gè)參數(shù)url即為URL，第二個(gè)參數(shù)data是訪問(wèn)URL時(shí)要傳送的數(shù)據(jù)，第三個(gè)timeout是設(shè)置超時(shí)時(shí)間。第二三個(gè)參數(shù)是可以不傳送的，data默認(rèn)為空None，timeout默認(rèn)為socket._GLOBAL_DEFAULT_TIMEOUT第一個(gè)參數(shù)URL是必須要傳送的，在這個(gè)例子里面我們傳送了百度的URL，執(zhí)行urlopen方法之后，返回一個(gè)response對(duì)象，返回信息便保存在這里面。1printresponse.re