2021-01-28
阅读量:
388
反爬如何禁用Cookie?
有些网站会通过Cookie来发现爬虫的轨迹。网站会通过Cookie跟踪你的访问过程,如果发现了爬虫异常行为就会中断你的访问,比如极为快速地填写表单,或者浏览大量页面。 虽然这些行为可以通过关闭并重新连接或者改变IP地址来伪装,但是如果Cookie暴露了你的身份,再多努力也是白费。因此,如果不是特殊需要,可以禁用Cookie,这样网站就无法通过Cookie来侦测到爬虫了。Scrapy中禁止Cookie功能也非常简单,在配置文件settings.py中将COOKIES_ENABLED设置为False即可(默认是True),如下代码所示:
# Disable cookies (enabled by default)
COOKIES_ENABLED = False
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
0条评论
0条评论
1条评论