webmagic
webmagic copied to clipboard
spider莫名退出问题
比如单线程,执行步骤一的时候下边的线程还在解析,没有把新url放到队列中,去取的request是null,执行第二步的时候,下边的线程执行完成,判断生效直接break了。
最近也发现了这个问题