热线电话:13121318867

登录
2021-01-28 阅读量: 388
反爬如何禁用Cookie?

有些网站会通过Cookie来发现爬虫的轨迹。网站会通过Cookie跟踪你的访问过程,如果发现了爬虫异常行为就会中断你的访问,比如极为快速地填写表单,或者浏览大量页面。 虽然这些行为可以通过关闭并重新连接或者改变IP地址来伪装,但是如果Cookie暴露了你的身份,再多努力也是白费。因此,如果不是特殊需要,可以禁用Cookie,这样网站就无法通过Cookie来侦测到爬虫了。Scrapy中禁止Cookie功能也非常简单,在配置文件settings.py中将COOKIES_ENABLED设置为False即可(默认是True),如下代码所示:


# Disable cookies (enabled by default)

COOKIES_ENABLED = False


0.0000
0
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子