feapder
feapder copied to clipboard
keep-alive和session无效,http/https连接无法复用
有一个问题哈,scrapy的http/https连接是可以复用的,如图,并发数设为30他就会开30条连接,不会在每次爬取时反复断开重连,非常稳定

但是feapder的连接,无论我把keep-alive设为true,还是说添加session,都没有办法让请求复用,会不断地断开重连(这个可能是requests库的问题),如图,图中部分线程的连接自动释放掉了,每波任务都会产生30次tcp连接/断开,这个数量始终在波动,并发数高了非常容易报代理错误

我的代理池是使用负载均衡方式自建的本地隧道代理,差不多每十波左右的任务就会报一次错误,由于连接不断重连/释放,对本地的代理软件也不友好,日志记录飞起,如果开启日志,我的clash能吃掉半个核心和2g的内存

我也是经常收到这个报错。OP现在如何了?有fix吗?