Python小程序自动爬取站酷网首页的照片

大家好，我是小无奈，最近这几天沉迷于做爬虫无法自拔，终于做出来了一个属于自己的爬虫。

对于一个没什么基础的人来说，做一个爬虫 也算是个艰难的过程，从下载 Pycharm  到学习字典 列表，正则表达式，以及一定的网页分析 本宝宝一步一步走过来了。有兴趣的可以玩一下爬虫，爬取一些数据，分析数据是很有用的。接下来就是开始数据分析，高端系统学习 Python 了，加油  共勉。

另外  代码仅供参考  ，如果进行非法行为  ，概不负责。

1. # coding = utf-8
   
2. import urllib
   
3. import re
   
4. #加载基础模块
   
5. url="http://www.zcool.com.cn"
   
6. 
   
7. def getHtml(url):'''下载网页‘’‘
   
8.     page = urllib.urlopen(url)
   
9.     html = page.read()
   
10.     return html
    
11. 
    
12. html=getHtml(url)’‘’下载照片‘’‘
    
13. def getimg(html):
    
14.     reg = 'href="(.+?\s.html)"\sst_t="click"'’‘’正则表达式‘’‘
    
15.     imgre = re.compile(reg)
    
16.     imglist = re.findall(imgre, html)
    
17.     url=[]
    
18.     imglist=list(set(imglist))’‘’去除重复数组‘’‘
    
19.     for k in imglist:
    
20.         k1=str(k)
    
21.         ki=k1[:41]
    
22.         web=".html"
    
23.         ki = ki+web
    
24.         url.append(ki)’‘’重建新的地址，站酷有意把地址添加一个\n \r 增加获取地址的难度   
    
25.     x=0
    
26.     for i in url:
    
27.         img2=getHtml(i)
    
28.         rex='src="(.+?.jpg)" '   ‘’‘正则’‘’
    
29.         rax=re.compile(rex)
    
30.         getimg3=re.findall(rax,img2)
    
31.         for i in getimg3:
    
32.             urllib.urlretrieve(i, '%s.jpg' % x)   ‘’‘下载照片’‘’
    
33.             x=x+1
    
34.     return imglist
    
35. imgkk=getimg(html)
    

复制代码

用 requests 和 BeautifulSoup库啊啊啊
真的比 urllib re 好用不止一倍。

liangwan 发表于 2017-1-16 22:48
好厉害，这得学习多久呀？

  认真学习的话 7天时间就够了

好厉害，这得学习多久呀？

一会我试试

:D:D:D:D:D:D:D

7天学成？好厉害呀，

跪求楼主写一个较为详细的学习过程的帖子。授人以鱼不如授人以渔{:5_132:}

laweirug 发表于 2017-1-22 21:34
用 requests 和 BeautifulSoup库啊啊啊
真的比 urllib re 好用不止一倍。

确实是的，但是，那个 beautifui 的功能有点复杂，我不能很熟悉的使用，网上的那种教程也不太全

可以试一下

真的 cow b

太厉害了吧

是西西呀 发表于 2022-7-22 19:08
太厉害了吧

一点也不厉害，很简单的