feapder icon indicating copy to clipboard operation
feapder copied to clipboard

keep-alive和session无效,http/https连接无法复用

Open dream2333 opened this issue 3 years ago • 1 comments

有一个问题哈,scrapy的http/https连接是可以复用的,如图,并发数设为30他就会开30条连接,不会在每次爬取时反复断开重连,非常稳定 5V3WW(7NYT 4VDSE$84(JJ

但是feapder的连接,无论我把keep-alive设为true,还是说添加session,都没有办法让请求复用,会不断地断开重连(这个可能是requests库的问题),如图,图中部分线程的连接自动释放掉了,每波任务都会产生30次tcp连接/断开,这个数量始终在波动,并发数高了非常容易报代理错误 OREY FH(P(2{)%TAT`O~2D7

我的代理池是使用负载均衡方式自建的本地隧道代理,差不多每十波左右的任务就会报一次错误,由于连接不断重连/释放,对本地的代理软件也不友好,日志记录飞起,如果开启日志,我的clash能吃掉半个核心和2g的内存 AJ}Q1B{C_B@J_0RFJ{H1Y`D

dream2333 avatar Jun 26 '22 09:06 dream2333

我也是经常收到这个报错。OP现在如何了?有fix吗?

kk-deng avatar Apr 28 '23 13:04 kk-deng