leantli
leantli
关注到 #121 #215 等存在不少需要爬取二级评论的需求 不过如果全部评论都爬取, 会导致可爬取帖子数量骤降(可能直接基于请求量做了风控检测....) 但是也存在用户不需要爬取大量帖子, 但需要全部评论的情况....因此单独加了二级评论爬取的开关, 进行了实现 有一个比较尴尬的地方是 db 这一层, 二级评论的结构和一级评论没有多大的差距, 但是有个比较关键的 target_commet_id 感觉不可或缺, 如果要复用 xhs_note_comment 表, 可能导致不兼容之前的版本, 这里先单独弄个表, 看看大佬的思路和建议
没看代码, 猜测是不是新建会话的时候, 把 conversation_id 固定给去掉了, 不过问题不大, 有空可以修一下, 感谢大哥