webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard

关于失败后动态切换代理的问题

Open udyk-dev opened this issue 1 year ago • 1 comments

需求:需要在抓取数据的请求超时之后,能自动切换到一个新的代理ip,因为在我们的场景下,代理ip是有时效的,存活大概就2~3分钟左右。看了很多文档和问题,推荐的做法是自定义一个proxyProvider来实现动态切换代理。 问题:我在proxyProvider里怎么才能能知道上次的请求已经超时了呢?

udyk-dev avatar Aug 14 '24 07:08 udyk-dev

returnProxy 的入参有 Page 和 Task,可以获得上次请求的情况: us.codecraft.webmagic.proxy.ProxyProvider.returnProxy(Proxy, Page, Task)

sutra avatar Aug 15 '24 05:08 sutra