autoproxy icon indicating copy to clipboard operation
autoproxy copied to clipboard

一个用于scrapy爬虫的自动代理中间件

Results 3 autoproxy issues
Sort by recently updated
recently updated
newest added

试了下直接python autoproxy.py可以成功请求道代理ip网站;但是使用scrapy的时候会卡在request那里就没动静了,不知道有没有人也遇到过这样的问题

1. 增加一个max_fail_count,用于对多次换代理下载失败的URL放弃 2. `ban_re`在代码里面写成了`self.re` 3. 在`process_response`里面的re.compile有性能损耗,最好在init里面只做一次

应该是`process_response`吧~