tech_post icon indicating copy to clipboard operation
tech_post copied to clipboard

关于网站的防爬

Open Cyux07 opened this issue 9 years ago • 1 comments

请问我应该如何判断网站是根据什么来判断阻止爬取的?又改如何针对解决? 例如我爬淘宝的详情图片的时候第一个详情页77张大图,每次都74就主动拒绝了。换了ip睡几分钟一抓还是立刻拒绝掉。

Cyux07 avatar Jul 28 '16 10:07 Cyux07

淘宝的反抓取做得很牛逼的 我之前也抓过 很快就被识别了

Alexis374 avatar Aug 22 '16 16:08 Alexis374