2021-01-28
阅读量:
294
如何实现分布式爬虫
要实现分布式爬虫，就必须解决以下几个问题。
共享请求队列：多个Scrapy共享同一个请求队列，从同一个队列中获取请求，避免分配重复的请求。
共享指纹集合：多个Scrapy共享同一个指纹集合，实现去重功能。
汇总爬虫数据：将多个Scrapy各自爬取下来的数据汇总到同一个地方。
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-26
0条评论
CDA持证人阿涛哥
2024-10-15
0条评论
CDA持证人阿涛哥
2024-07-31
1条评论
