反爬如何降低请求频率？

热线电话：13121318867

马锦涛

2021-01-28 阅读量: 387

反爬如何降低请求频率？

降低请求频率的做法，不仅仅是为了避开网站的侦测，更重要的是体现出了一个爬虫专家基本的素质。我们应该对能够获取免费数据心怀感恩，而不是恶意攻击网站，致其带来很大的带宽压力，甚至瘫痪。毕竟还是有许多网站，对爬虫还是比较宽容的。

对于Scrapy框架来说，设置请求的频率（即下载延迟时间）非常简单。在配置文件settings.py中设置DOWNLOAD_DELAY即可，以下代码设置下载延迟时间为3秒，即两次请求间隔3秒。

DOWNLOAD_DELAY = 3#设置下载延迟时间为3秒

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子