【花马金裘】分享e621网站爬虫编写过程(以Sollyz为例)

想必有很多和我一样的人只有把喜欢的图片视频下载下来才能感觉到安心，下面分享一个e621网站的爬虫编写过程

首先看看关键词查询时url是如何构造的

这是直接关键词搜索的情况

这是分页查询的情况

url参数显然page代表页码，tags代表关键词/标签

然后再分析一下网站，现在首次进入会出现18+界面，刚开始以为需要进行认证才能获取页面（也就是伪造token）

不过通过分析源码发现，其实这个界面只是类似遮罩的效果，如果删除这个元素，其实是可以直接看到网页内容的，这个data-file-url就是我们要找的下载链接

这里我们可以通过正则表达式data-file-url="(?P<url>.*?)".*?\nID: (?P.*?)\n​提取出图片的地址

众所周知，这种页面的图片肯定是循环堆砌相同元素呈现的，也就是只要用上面的正则匹配一下，就能获得这个页面的所有地址

代码如下：

1. # 获得页面中的文件信息
   
2. # page_text 页面的文本内容
   
3. def getPageDatas(page_text):
   
4.     files = []
   
5. 
   
6.     obj = re.compile(r'data-file-url="(?P<url>.*?)".*?\nID: (?P<id>.*?)\n', re.S)
   
7.     results = obj.finditer(page_text)
   
8.     for result in results:
   
9.         url = result.group("url")
   
10.         id = result.group("id")
    
11.         name = url.split('/')[-1]
    
12.         file = {
    
13.             "url": url,
    
14.             "id": id,
    
15.             "name": name
    
16.         }
    
17.         files.append(file)
    
18.     return files

复制代码

当然，某个关键词的图片不一定只有一页

所以我们需要找到所有页码，然后经过一番分析，也很容易找到class为last page​的a标签内部文本就是页码长度，所以到时候请求的时候只需要进行14次分页请求，如果有想要尝试的可以去找找这段

这个文本应该如何提取呢，通过分析发现，在整个页面中，class="last page"只出现了一次，也就是说，使用bs4的find即可找到这个标签

代码如下：

1. # 获得页面数量
   
2. # url 链接
   
3. # headers 请求头
   
4. # data 请求表单
   
5. def getLastPage(url, headers, data):
   
6.     try:
   
7.         with requests.get(url=url, headers=headers, data=data) as resp:
   
8.             bs = BeautifulSoup(resp.content, "html.parser")
   
9.             a = bs.find(name="a", attrs={"class": "page last"})
   
10.             last_page = (int) (a.text)
    
11.     except IndexError:
    
12.         last_page = 1
    
13. 
    
14.     return last_page

复制代码

既然网页已经分析完毕，下面可以编写整体自动爬取的代码了

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. 
   
6. # 获得页面数量
   
7. # url 链接
   
8. # headers 请求头
   
9. # data 请求表单
   
10. def getLastPage(url, headers, data):
    
11.     try:
    
12.         with requests.get(url=url, headers=headers, data=data) as resp:
    
13.             bs = BeautifulSoup(resp.content, "html.parser")
    
14.             a = bs.find(name="a", attrs={"class": "page last"})
    
15.             last_page = (int) (a.text)
    
16.     except IndexError:
    
17.         last_page = 1
    
18. 
    
19.     return last_page
    
20. 
    
21. # 获得页面中的文件信息
    
22. # page_text 页面的文本内容
    
23. def getPageDatas(page_text):
    
24.     files = []
    
25. 
    
26.     obj = re.compile(r'data-file-url="(?P<url>.*?)".*?\nID: (?P<id>.*?)\n', re.S)
    
27.     results = obj.finditer(page_text)
    
28.     for result in results:
    
29.         url = result.group("url")
    
30.         id = result.group("id")
    
31.         name = url.split('/')[-1]
    
32.         file = {
    
33.             "url": url,
    
34.             "id": id,
    
35.             "name": name
    
36.         }
    
37.         files.append(file)
    
38.     return files
    
39. 
    
40. # 获得下载的多线程任务数组，要await
    
41. # keyword 搜素的关键词
    
42. # path 下载路径
    
43. def resolve(keyword, path):
    
44.     # 若关键词为空，返回空数组，防止请求到一堆数据
    
45.     if keyword == '':
    
46.         return []
    
47.     # 请求头
    
48.     headers = {
    
49.         "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54"
    
50.     }
    
51.     # 链接
    
52.     url = "https://e621.net/posts?"
    
53.     # 表单
    
54.     data = {
    
55.         "page": 1,
    
56.         "tags": keyword
    
57.     }
    
58.     # 获得最后一页的页码
    
59.     lastPage = getLastPage(url=url, headers=headers, data=data)
    
60.     print("获取到总页数为{}".format(lastPage))
    
61.     # 获得页面文本
    
62.     print("目前正在处理：e621...")
    
63.     page_texts = []
    
64.     while data["page"] <= lastPage:
    
65.         print("正在抓取获取第" + str(data["page"]) + "个页面的内容")
    
66.         with requests.get(url=url, headers=headers, data=data) as resp:
    
67.             page_texts.append(resp.text)
    
68.         data["page"] += 1
    
69.     # 创建任务列表
    
70.     for page_text in page_texts:
    
71.             files = getPageDatas(page_text)
    
72.             i = 0
    
73.             for file in files:
    
74.                 url = file["url"]
    
75.                 with requests.get(url=url, headers=headers) as response:
    
76.                     if response.status_code == 200:
    
77.                         # 以二进制写入模式保存文件到本地
    
78.                         with open('{}/{}-{}'.format(path, file["id"], file["name"]), 'wb') as file:
    
79.                             file.write(response.content)
    
80.                             i = i+1
    
81.                         print("文件下载成功！")
    
82.                     else:
    
83.                         print("下载失败，状态码:", response.status_code)
    
84. 
    
85. if __name__ == '__main__':
    
86.     resolve('Sollyz', 'C:\\Users\\14586\Desktop\\test')
    

复制代码

当然我们知道，requests​库是阻塞式的，当要下载的图片有成百上千个时，下载的等待时间甚至不如自己手动点击去下载，这时候就需要多线程出马了，于是我请ai老师帮我生成了一套使用场景是qt5且能够多线程进行的请求库：

1. 字数满了，果咩......

复制代码

并让他基于以上两套代码编写了对应的图形化界面爬虫代码

最终效果如图，如果重复下载的话会自动跳过这一条：

工具和本次爬取结果在附件，请查收

能够直接爬取图片并下载确实要方便很多呀

网页自动爬取也是需要研究CSS的结构层次的

教程写得明明白白，有技术宅好安心

虽然说现在有gallery-dl也可以下载像是e站或者fa站的资源，但是手写一个爬虫程序我觉得也很是不容易，尤其楼主这个还有界面还是方便不少。不过之前用gallery-dl确实会有些小问题，就是它会直接下载图片的原图，而这些原图一般会非常大，有时候下下来我还得再压缩一遍。挺好奇有没有办法可以下载这些网页的预览图而不是原图大小呢

这样的话就可以轻松保存图片了，谢谢

很有技术佬的feel，技术细节和实现步骤已经掰扯得很清楚了

感谢楼主分享技术，很好用

通过脚本来抓取想要的图吗，确实好方便呢。

不知道为什么，看不到图形界面的展示图

楼主真的好厉害，真的试图教会坛友，真的好人啊

源码分析图和最终效果图（第一次发帖，很多地方不太会用）

可以使用组合词吗？+和-的那种
如果第二次爬取会跳过已有项目吗？

谢谢楼主的分享 能直接爬取东西 然后下载 确实舒服多了

非常详细的教程惹，这下子可以爬到想看的内容了

很有用的工具，感谢楼主分享

有爬虫能自动下载解放双手了

非常感谢楼主分享惹！爬虫脚本对于有一定基础的朋友而言还是挺实用的

啊哈，一般都是用扩展直接来爬的，感谢分享编写过程，又学到新知识捏~

很好用的好东西惹，就是代码我完全看不懂XwX