cola icon indicating copy to clipboard operation
cola copied to clipboard
verified publisher icon qinxuye

抓取网页出现HTTP ERROR处理问题

Open tottilin opened this issue 10 years ago • 0 comments

1.http error 404 没有丢弃url 2.其他错误在爬虫执行完后，继续尝试，但不能无限次尝试（有的时候会出现爬虫任务根本停不下来）

tottilin avatar Oct 16 '15 14:10 tottilin