2021-01-25
阅读量:
450
如何理解scrapy里的调度器(Scheduler)？
1、调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是 什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。
2、用户可能向服务器发送的请求不是一个，而是多个，多个请求如何排序，优先执行哪个请求，这些都是有Scheduler决定。
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-26
0条评论
CDA持证人阿涛哥
2024-10-15
0条评论
CDA持证人阿涛哥
2024-07-31
1条评论
