2021-01-25
阅读量:
414
如何理解scrapy里的下载器(Downloader)？
1、下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。
2、下载器的主要作用是对于爬虫的请求进行响应，把用户需要数据从服务器下载下来，然后传到爬虫或者管道做进一步处理
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-26
0条评论
CDA持证人阿涛哥
2024-10-15
0条评论
CDA持证人阿涛哥
2024-07-31
1条评论
