yangzhaoP
yangzhaoP
不是,是程序就在24号的10-11点里面重复爬取,控制台能够输出爬取的信息,信息显示一直在爬取10-11点相同的微博内容。
关键词为"新冠肺炎"。 然后我手动修改为爬取2020-01-25到2020-01-30的微博信息,刚开始也是正常,在爬取大约一万条数据以后,控制台显示又开始重复爬取25号12点45分左右的数据,因为是重复数据,所以数据库数量就不再增长。
好的,非常感谢作者!
作者您好! 我设置DELAY = 10,关键词为“新冠肺炎”,时间为2020-01-25到2020-01-25,其他为默认设置然后写入数据库仍然出现重复爬取的问题。 您要是有时间是否方便测试一下,谢谢您!
问题已经完美解决,十分感谢作者!