MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

WeiBo爬取只能获取部分内容,无法get到全文

Open VVogelimkafig opened this issue 1 year ago • 3 comments

不知道博主是否考虑获取全文信息~ (万分感谢博主分享的项目) image

VVogelimkafig avatar Nov 13 '24 15:11 VVogelimkafig

请问你爬取微博设定特定的爬取时间段了嘛?例如2024-01-01~2024-10-01

1933211129 avatar Nov 28 '24 03:11 1933211129

很好解决啊,core.py里边的search方法那里改一下,不建议你删代码,你直接加上去 note_detail = await self.wb_client.get_note_info_by_id(note_id) await weibo_store.update_weibo_note(note_detail) 调用的时候不是note_tiem,是note_detail,改完效果如下 screenshot-20241202-172457 screenshot-20241202-174223

ghost avatar Dec 02 '24 09:12 ghost

很好解决啊,core.py里边的search方法那里改一下,不建议你删代码,你直接加上去 note_detail = await self.wb_client.get_note_info_by_id(note_id) await weibo_store.update_weibo_note(note_detail) 调用的时候不是note_tiem,是note_detail,改完效果如下 screenshot-20241202-172457 screenshot-20241202-174223

这个接口总是触发验证码,层主有解决吗~ @Acyhin7x

649733108 avatar Jan 08 '25 13:01 649733108