2021-01-28
阅读量:
412
如何实现随机代理？
将免费可用的代理服务器信息保存到Redis数据库后，所有的Scrapy爬虫项目就可以使用它们了。需要注意的是，一个爬虫项目的所有请求不能委托给固定的一个代理服务器，因为目标网站依然会监测到同一IP频繁访问的异常现象。比较好的做法是每次请求时，随机指定一个代理服务器，将请求分散到多个代理服务器中。
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-26
0条评论
CDA持证人阿涛哥
2024-10-15
0条评论
CDA持证人阿涛哥
2024-07-31
1条评论
