webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard
verified publisher icon code4craft

使用 RedisPriorityScheduler 队列会丢失 Request 中除了extras 属性外的所有自定义信息

Open aizhimou opened this issue 4 years ago • 0 comments

RedisPriorityScheduler 类实现的 pushWhenNoDuplicate() 方法在处理 request 中的附加信息的时候，只检查了 extra 属性，如果 extra 属性为空，request 中其他的属性如 header、method、cookie 等都不会被保存。

如下图： Snipaste_2021-12-01_13-59-20

aizhimou avatar Dec 01 '21 06:12 aizhimou