callPhoneBoom icon indicating copy to clipboard operation
callPhoneBoom copied to clipboard

拉取更多的网站咋不好使

Open sunhz7 opened this issue 2 years ago • 8 comments

我跑那个,跑了很久一直没保存新的网址呢,我看作者您提供的有一百多个,想要更多。但是没保存到,正常吗。。

sunhz7 avatar Mar 10 '23 16:03 sunhz7

报什么错误呢,我看看

olyble avatar Mar 11 '23 00:03 olyble

也不是报错,我发现是好使的,就是跑了一夜只多拉了五个。。

sunhz7 avatar Mar 11 '23 04:03 sunhz7

也不是报错,我发现是好使的,就是跑了一夜只多拉了五个。。

爬取只是提供了功能,你可以在txt里设置更多关键词来爬取更多有效网址

xdq2005adam avatar Mar 11 '23 14:03 xdq2005adam

我也是 一个网址都爬不到,是不是不可用了啊 老哥?

ckx382 avatar Mar 12 '23 20:03 ckx382

爬取显示这个 Empty DataFrame Columns: [site] Index: [] 保存成功 但是文件大小始终是0,没有保存任何网址

ckx382 avatar Mar 12 '23 20:03 ckx382

嗯,失效了,response解析不到html页面,应该是百度改了东西,我看看能不能解决了

xdq2005adam avatar Mar 14 '23 18:03 xdq2005adam

嗯,失效了,response解析不到html页面,应该是百度改了东西,我看看能不能解决了

感谢大佬!

ckx382 avatar Mar 15 '23 06:03 ckx382

如果爬不到数据,有以下几个解决方法: 1、把请求头中的Accept-Encoding里的br去掉 2、把 ‘’url = 'https://www.baidu.com/s?wd=' + v_keyword + '&pn=' + str(page * 10)“里的https改为http 3、尝试更换cookie

xdq2005adam avatar Mar 15 '23 13:03 xdq2005adam