tech_post
tech_post copied to clipboard
关于网站的防爬
请问我应该如何判断网站是根据什么来判断阻止爬取的?又改如何针对解决? 例如我爬淘宝的详情图片的时候第一个详情页77张大图,每次都74就主动拒绝了。换了ip睡几分钟一抓还是立刻拒绝掉。
淘宝的反抓取做得很牛逼的 我之前也抓过 很快就被识别了