Python学习笔记之简略爬虫

导语 所谓的爬虫便是经过代码的方法,抓取网站上的你想要的任何信息,比方你在网上看见许多有意思的图片,假如不会爬虫的话,我是不是的一张张另存下来,假如会了爬虫,就能悄然无声 的吧图片下载下来,渐渐赏识。

  现阶段咱们运用urllib模块,去做最简略的爬虫,由于比较简略,所以直接看代码就行。首要常识便是经过urllib模块的各个函数加上正则表达式去完结。
 

  1. #encoding:utf-8 
  2.  
  3. import re 
  4. import urllib 
  5.  
  6. #运用urllib的urlopen()函数翻开一个url地址 
  7. #并读取一切的html代码, 
  8. def gethtml(url): 
  9.     content=urllib.urlopen(url) 
  10.     html=content.read() 
  11.     return html 
  12.  
  13.  
  14. #依据正则表达式去匹配契合规矩的内容 
  15. def geturls(html): 
  16.     r=r'data-src="(http://.*?)"' 
  17.     alllist=re.findall(r,html) 
  18.     return alllist 
  19.  
  20. #运用urlretrieve()下载文件 
  21. def download(list): 
  22.     x=0 
  23.     for li in list: 
  24.         x=x+1 
  25.         urllib.urlretrieve(li,"%s.jpg"%x) 
  26.  
  27. if  __name__ == '__main__'
  28.     #内在段子 
  29.     url = "http://neihanshequ.com/pic/" 
  30.     #获取网页源码 
  31.     html = gethtml(url) 
  32.     #依据必定规矩过滤出想要的内容 
  33.     list = geturls(html) 
  34.     #下载图片 
  35.     download(list) 
  36.  
  37.     print list 
http://www.nucmc.com/ true Python学习笔记之简略爬虫 http://www.nucmc.com/show-18-1109-1.html report 1961.5 所谓的爬虫便是经过代码的方法,抓取网站上的你想要的任何信息,比方你在网上看见许多有意思的图片,假如不会爬虫的话,我是不是的一张张另存下来,假如会了爬虫,就能悄然无声 的吧图片下载下来,渐渐赏识。
TAG:爬虫 Python
本站欢迎任何方式的转载,但请有必要注明出处,尊重别人劳动成果
转载请注明: 文章转载自:BETWAY官网网 http://www.nucmc.com/show-18-1109-1.html
BETWAY官网网 Copyright 2012-2014 www.nucmc.com All rights reserved.(晋ICP备13001436号-1)