annekqiu

Results 8 comments of annekqiu

> 可以刷新试试? > […](#) 遇到同样的问题,全文不显示。 请问下刷新指的是啥,将网址刷新,然后重新获取cookie再尝试吗?

感谢回复。添加了以后,问题依然没有解决,数据差不多还是200页的情况,只是显示的错误如下: (我这次从120页开始) Progress: 19%|█▉ | 68/353 [3:17:56

感谢作者的详细说明。 1)https://m.weibo.cn/ 每次刷新则cookie会有些变化,对应更改(config.json中的“cookie”)。 2)https://github.com/dataabc/weibo-crawler#%E5%A6%82%E4%BD%95%E6%A3%80%E6%B5%8Bcookie%E6%98%AF%E5%90%A6%E6%9C%89%E6%95%88%E5%8F%AF%E9%80%89 参考以上网页。 尝试了几次,按照操作方法里面的1,2,3。能够看到提示**cookie检查有效**后。重新回到之前不能抓取的内容继续往下一页(config.json中的“start_page”改为190页)。成功了。 总结:获取的cookie需要验证有效以后才能抓取多于200页的博文。

之前程序可以抓取成功的,最近在抓取数据,出现如下错误。 @dataabc 博主回答的换个软件是什么意思。我在eclipse中运行。 Expecting value: line 1 column 1 (char 0) Traceback (most recent call last): File "D:\EclipseAI\workspace\weibo-crawler-master\weibo.py", line 1966, in get_pages if self.get_user_info() != 0: File "D:\EclipseAI\workspace\weibo-crawler-master\weibo.py", line 370,...

> [@annekqiu](https://github.com/annekqiu) 两点需要修改 1.ua 变了 key 有变化 不能识别了,自己检查修改下;2. 添加 refer 为微博的域名,否则会 403。 感谢回复,改了UA,没有效果。程序里面有url的网址是https://m.weibo.cn。

> [@annekqiu](https://github.com/annekqiu) 我用的是cmder,有可能是编码问题,也有可能之前爬的太多,被暂时限制了,不确定。 重新下载了博主当前的新程序,不存在这个问题。可运行。

> 有没有大佬解答以下,不论是否添加cookies,都一样返回432错误码,是微博api那边有变动吗?还是说和本地网络环境有关系 从我失效后,然后楼上回复添加cookies可以解决后,目前仍然可以获取weibo,猜测添加的cookies不准确。