一个简单的python爬虫爬取糗百图片

使用requests模块，不过注意一点的是get的时候没加header，而糗百是不检测的，如果百度图片的话使用这种方法会被认为是机器而get失败。

#! /usr/bin/python
import os
import requests
import re

def get_img_url(page_content):
        s = r'src="(.+?\.jpg)"'
        return re.findall(s,page_content)

xiubai_url = r'http://www.qiushibaike.com/imgrank/'

pic_list = get_img_url(requests.get(xiubai_url).content)

#print pic_list

i = 0

for pic_url in pic_list:
        fd = open(str(i) + '.jpg','w+')
        print fd
        pic = requests.get('http:' + pic_url)
        if pic.status_code is not 200:
                fd.close()
                continue
        else:
                fd.write(pic.content)
                i += 1
                fd.close()

总共爬取了25张图片。