exotic-amazon icon indicating copy to clipboard operation
exotic-amazon copied to clipboard
verified publisher icon platonai

一起学习

Open yangxiongj opened this issue 3 years ago • 2 comments

https://www.yuque.com/g/kuloudadi/acseen/bl28so6x51ntz4lm/collaborator/join?token=NMF1sHp4XPlcpnB3# 邀请你共同编辑文档《柏拉图ai学习》

yangxiongj avatar Feb 15 '23 01:02 yangxiongj

想请教下 解析下载后的页面内容并保存的代码入口在哪里？ 我自己运行发现代码并没有进入 onAfterExtract 方法提示的位置

另外有没有单独爬取一两个页面的最小例子可以参考下，我自己看代码只跟踪到 创建任务塞到队列 然后队列怎么执行爬取，并存数据到mongodb这一段没找到对应的代码入口在哪里 1679479176007

jarry88 avatar Mar 22 '23 09:03 jarry88

  1. Pull 最新版本
  2. 解析下载后的页面内容并保存：ai.platon.exotic.amazon.crawl.boot.component.common.AbstractSQLExtractor#extract
  3. 单独爬取一两个页面的最小例子：AsinScraper

platonai avatar Mar 23 '23 08:03 platonai