webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard
verified publisher icon code4craft

spider莫名退出问题

Open ilovewsy opened this issue 7 years ago • 1 comments

image 比如单线程，执行步骤一的时候下边的线程还在解析，没有把新url放到队列中，去取的request是null，执行第二步的时候，下边的线程执行完成，判断生效直接break了。

ilovewsy avatar Jun 09 '18 12:06 ilovewsy

最近也发现了这个问题

carl-don-it avatar Aug 04 '21 09:08 carl-don-it