weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

用了user_id_list.txt下载三个博主,不知道为啥,第一个博主只下载了200个博文,然后下载照片时候经常出现debug

Open josephinechen-6 opened this issue 9 months ago • 9 comments

{ "user_id_list": "user_id_list.txt", "only_crawl_original": 0, "remove_html_tag": 1, "since_date": "2018-01-01", "start_page": 1, "page_weibo_count": 10, "write_mode": ["csv"], "original_pic_download": 1, "retweet_pic_download": 1, "original_video_download": 1, "retweet_video_download": 1, "original_live_photo_download": 1, "retweet_live_photo_download": 1, "download_comment":0, "comment_max_download_count":1000, "download_repost": 0, "repost_max_download_count": 1000, "user_id_as_folder_name": 0, "cookie": "your cookie", "mysql_config": { "host": "localhost", "port": 3306, "user": "root", "password": "123456", "charset": "utf8mb4" }, "store_binary_in_sqlite": 0, "mongodb_URI": "mongodb://[username:password@]host[:port][/[defaultauthdb][?options]]", "post_config": { "api_url": "https://api.example.com", "api_token": "" } }

josephinechen-6 avatar Apr 25 '25 06:04 josephinechen-6

添加上cookie就可以了。

dataabc avatar Apr 25 '25 09:04 dataabc

添加上cookie就可以了。

不好意思,还是没有获取cookie,在chrome里,没有找到

Image

josephinechen-6 avatar Apr 27 '25 03:04 josephinechen-6

先访问https://m.weibo.cn/,打开调试,再访问https://weibo.cn/看看。

dataabc avatar Apr 27 '25 06:04 dataabc

先访问https://m.weibo.cn/,打开调试,再访问https://weibo.cn/看看。

您好,我想爬取某博主的微博内容,但我没有他的账号密码,请问还有办法用cookie吗

NXY11 avatar Apr 27 '25 07:04 NXY11

先访问https://m.weibo.cn/,打开调试,再访问https://weibo.cn/看看。

在chrome那里,还是不太会弄,后来在edge里面的控制台,应用程序,然后找到了很多cookie名称,有个SUB,有个SUBP,我就贴的SUB那个到文件中,能下载的微博条数比之前多,但是也不知道这个方法对不对

Image

josephinechen-6 avatar Apr 27 '25 07:04 josephinechen-6

先访问https://m.weibo.cn/,打开调试,再访问https://weibo.cn/看看。

在chrome那里,还是不太会弄,后来在edge里面的控制台,应用程序,然后找到了很多cookie名称,有个SUB,有个SUBP,我就贴的SUB那个到文件中,能下载的微博条数比之前多,但是也不知道这个方法对不对

Image

您好,可以问下您是有该用户的账号密码嘛,我看作者是让输入账号密码,然后获得了cookie?

NXY11 avatar Apr 27 '25 07:04 NXY11

@josephinechen-6 应该是对的。

dataabc avatar Apr 27 '25 09:04 dataabc

@NXY11 是你自己账号的cookie,不是别人的。比如你在网页上访问别人的微博,可能也需要登录自己的账号,不用别人的账号。

dataabc avatar Apr 27 '25 09:04 dataabc

@NXY11 是你自己账号的cookie,不是别人的。比如你在网页上访问别人的微博,可能也需要登录自己的账号,不用别人的账号。

好的谢谢!

NXY11 avatar Apr 27 '25 09:04 NXY11