用python編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)

1、剛剛開(kāi)了一個(gè)《計(jì)算機(jī)網(wǎng)絡(luò)》的課，覺(jué)得很有用。正好師兄讓我練習(xí)編寫(xiě)一個(gè)能下載網(wǎng)站網(wǎng)頁(yè)的程序，正好能用上課上的知識(shí)了。為了想作一個(gè)效率不差的，而下載網(wǎng)頁(yè)的性能瓶頸是在網(wǎng)絡(luò)上，所有決定用Python編寫(xiě)代碼。剛學(xué)python沒(méi)幾天，學(xué)習(xí)一種語(yǔ)言的最好方法就是寫(xiě)code.下面的是我用的多線程實(shí)現(xiàn)的網(wǎng)絡(luò)爬蟲(chóng)，并用py2exe生成了一個(gè)exe，自身覺(jué)得py2exe不太好，又不會(huì)更好的，只能......這是我這些天的成果。希望有人能提出好的建議，先謝

2、謝了！一共兩個(gè)文件，一個(gè)是toolbox_insight.py，是一個(gè)工具文件另一個(gè)是test.py，是一個(gè)用到toolbox_insight.py中工具的測(cè)試文件#FileName:toolbox_insight.pyfromsgmllibimptSGMLParserimptthreadingimpttimeimpturllib2imptStringIOimptgzipimptstringimptos#rewriteSGMLParse

3、rfstart_aclassBasegeturls(SGMLParser):#這個(gè)Basegeturls類作用是分析下載的網(wǎng)頁(yè)，把網(wǎng)頁(yè)中的所有鏈接放在self.url中。defreset(self):self.url=[]SGMLParser.reset(self)defstart_a(selfattrs):href=[vfkvinattrsifk==href]ifhref:self.url.extend(href)#fquicklyf

4、indingclassNewlist(list):#這個(gè)類其實(shí)是一個(gè)添加了find方法的LIST。當(dāng)num變量在LIST中，返回True當(dāng)不在LIST中，返回False并把num按二分法插入LIST中deffind(selfnum):l=len(self)first=0end=l1=0ifl==0:self.(0num)returnFalsewhilefirstself[]:first=1elifnum=self.maxnum:#達(dá)到最