autoproxy

autoproxy copied to clipboard

不能请求代理网站

1

试了下直接python autoproxy.py可以成功请求道代理ip网站；但是使用scrapy的时候会卡在request那里就没动静了，不知道有没有人也遇到过这样的问题

MrKang

修改建议

1

1. 增加一个max_fail_count，用于对多次换代理下载失败的URL放弃 2. `ban_re`在代码里面写成了`self.re` 3. 在`process_response`里面的re.compile有性能损耗，最好在init里面只做一次

hisen630

应该是`process_response`吧~

hisen630