jackdbj7

从头到位看一遍文档，感觉就是我要的爬虫，支持调度、去重、爬虫集合，能够requests抓取，能够动态渲染，能够断点续传，能够分布式处理，简直不要再好，而且学习难度貌似不高，文档写的很好，都是随着认知过程逐步加深，剩下的就是逐步实践了。 其中一直困扰我的连接补全功能，居然只是这里一个很小的功能，不错。 有几个问题，想了解下： 1、文档中写知识firefox的渲染，但代码里没有，不知道是还没完成还是什么情况，自己也还没来得及试，因为有个目标网站对chrome做了反爬，firefox可以爬到； 2、对于小型的爬取是否可以指挥sqlite，这样导入导出数据会比较方便； 3、可视化监控是个很好的功能，将来爬虫如果能做成web版的，以现在的框架感觉会非常吸引人 赞一个