Results 6 comments of ws

一开始是个别错误,现在发现[https://www.woolworths.co.za]这个网站的所有asin页都有这个问题

想问下这个大概是什么原因,后期有什么方法规避

刚才又试了几次发现了,把url最后面[?isFromPLP=true](https://www.woolworths.co.za/prod/Women/New-In/Knitwear/Woolworths-Cashmere-Jumper/A-507948144?isFromPLP=true)给删掉就不会报错了。似乎加请求参数会让sql这边获取不到url?

额。这不是访问亚马逊的网页导致的 我是基于您这个项目的基础修改后爬取另一个购物网站。 这个网址的分页并不能通过拼接url直接访问,需要在页面处理的时候重复的点击下一页,使得所有商品在一个页面中全部展示。 我看报这个错误的原因应该是因为我重复点击下一页消耗了太多时间,所以导致 Tyrus client关闭了。

> Mongodb 必须启动,它是用来存储元数据的,而且使用起来非常简单。 > > JdbCommitter用于将提取结果保存到JDBC兼容的数据库中,元数据仍然保存在MongoDB中。 > > 所有元数据都保存到 WebPage 并持久化到 MongoDB。 So how do I configure to use a jdbc database? I see that the relevant configuration is already...