项目操作代码

import requests
import os
import parsel
url = 'https://www.jdlingyu.com/tuji' #网址
#创建防爬措施
headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}
#请求
res = requests.get(url,headers=headers)
#获取对象里面的文本
html_str= res.text
#转换数据类型
selector = parsel.Selector(html_str)
#找到对象里面的父级层
list = selector.xpath('//div[@id="post-list"]/ul/li')
#循环抓取
for li in list:
    #对象标题
    titele=li.xpath('.//h2/a/text()').get()
    #对象数据链接
    wangzhe=li.xpath('.//h2/a/@href').get()
    print(titele,wangzhe)
    #判读添加文件
    if not os.path.exists('wenming\\'+titele):
        os.mkdir('wenming\\'+titele)
        #获取对象链接里面的数据文本
    response_pic= requests.get(wangzhe,headers=headers).text
    #转换数据类型
    selector_2=parsel.Selector(response_pic)
    #找到链接里面的图片地址链接
    pic_url_list=selector_2.xpath('//div[@class="entry-content"]//img/@src').getall()
    #循环并发送请求
    for pic_url in pic_url_list:
        img_data=requests.get(pic_url,headers=headers).content
        #创建文件名
        file_name =pic_url.split('/')[-1]

         #chuanjia
        with open (f'wenming\\{titele}+{file_name}','wb')as f:
            f.write(img_data)
            print('保存完成',file_name)