Spider如何实现文件下载？

热线电话：13121318867

马锦涛

2021-01-28 阅读量: 618

Spider如何实现文件下载？

在Spider中，将想要下载的文件URL地址保存到一个列表中，并赋给key为file_urls的Item字段中（item[“file_urls”]）。

引擎将Item传入到FilesPipeline管道中。

FilesPipeline获取Item后，会读取Item中key为file_urls的字段（item[“file_urls”]），再根据获得的URL地址下载文件。Item在FilesPipeline管道中处于

“锁定”状态，直到所有文件全部下载完

（或者某种原因下载失败）。

所有文件下载完后，会将各个文件下载

的结果信息收集到一个列表中，

并赋给key为files的Item字段中（item[“files”]）。

下载的信息主要包含以下内容：

文件下载的路径

文件的URL地址

文件的校验和（Checksum）

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子