renewii

Results 6 comments of renewii

感谢您的回复, 我需要爬取的内容 在start_requests时需要带上params 使用poat请求,会响应json类型数据给我。 这问题在scrapy中是用scrapy_Requests无法正常响应需要使用scrapy_Formrequests才能正常响应。而在feapder通过修改下载中间件 才能正常响应

对的,我使用了,但是无效。我晚些把代码贴出来给你看一下

![image](https://user-images.githubusercontent.com/41406332/163436391-90e1fdc1-44d2-4e3f-ae71-f1da4c64ed29.png)

对了,我按照你说的是使用了tools下的download_file的方法下载照片,但是我发现他无法设置请求头,我临时改成了这个 ![image](https://user-images.githubusercontent.com/41406332/163436717-a2c1f725-58be-4aeb-8126-d32038cc7673.png) ,我想让他像feapder.Request那样具有重试的功能

我是使用request完成一个爬虫,想使用框架维护他。就找到了feapder,上手很容易。但是我安照官方文档使用时候遇到了很多坑。暂时弃坑系统学了scrapy后并使用完成我的爬虫。又转回了feapder。可能对框架又了解有些坑无法复现了。