热线电话:13121318867

登录
2021-01-25 阅读量: 331
使用ItemLoader填充数据?

目前为止我们爬取的数据的字段较少,但是当项目很大,提取的字段数以百计时,数据的提取规则也会越来越多,再加上还要对提取到的数据做转换处理,代码就会变得庞大,维护起来十分困难。

为了解决这个问题,Scrapy提供了项目加载器(ItemLoader)这样一个填充容器。通过填充容器,可以配置Item中各个字段的提取规则,并通过函数分析原始数据,最后对Item字段赋值,使用起来非常便捷。

2、

Item和ItemLoader的区别:

Item提供保存抓取到数据的容器,需要手动将数据保存于容器中。

Itemloader提供的是填充容器的机制。


0.0000
0
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子