feapder icon indicating copy to clipboard operation
feapder copied to clipboard
verified publisher icon Boris-code

分布式爬虫如何定义爬虫间的依赖关系

Open TestsLing opened this issue 3 years ago • 1 comments

例如我有一个列表爬虫，然后有一个详情爬虫，我将他们集成起来，如何定义依赖关系

TestsLing avatar Aug 04 '22 09:08 TestsLing

遍历列表 然后生成新的请求Request 如果有需要传递的参数 可以通过Request的参数传递 设置新Request的callback回调为详情的解析函数

shouge avatar Mar 01 '24 08:03 shouge