cdhigh
cdhigh
是的,主要是我不想参数太复杂
我记起来了,之前的下标越界问题之前就修正了。 Rfa无法获取的原因是其网站有强力的反爬虫,KindleEar 只有比较简单的反爬虫欺骗手段,暂时无法突破其封锁。
它这个反爬虫是针对整个网站的,可能技术人员忘了将rss地址单独列为白名单。
1. 我已经更新代码,在http头里面再添加一行,更模拟浏览器访问,现在已经可以爬取rfa了。 2. 如果你在其他服务器上搭建有转发器,在KindleEar新版本中也可以使用,比如 假如你的转发器地址为 `http://example.com`,则修改recipe中的feed地址为下面的形式: ```python feeds = [ ("Laos RFA", "http://example.com/?k=xzSlE&t=60&u=https://www.rfa.org/english/news/laos_news/rss2.xml"), ] ``` 只是注意的一点是转发器仅针对反爬虫里面的“封禁IP”,反爬虫还有很多其他多样化的措施。 这个issue里面的rfa的反爬虫就不是封禁IP。 3. 技术发展很快,现在的serverless技术路线更适合“转发”用途,简单来说就是一个javascript脚本,不需要配置服务器,cloudflare会将这个脚本自动部署到全球多个CDN服务器,我也更新了转发器仓库,添加cloudflare的worker实现。 4. KindleEar可以搭配RSSHUB使用,在自己写RSS抓取代码前,可以先到RSSHUB搜索是否已经有特定的内容了。
那个是Github action的执行结果,现在表示项目文档自动更新失败(从*.md自动编译为*.html),和代码没有关系。 至于文档为何更新失败,可能某个编译依赖有变化或系统环境出错之类的,可能下次就好了。 PS:新的部署脚本每次执行都会抓取最新的Calibre Recipe,所以以后calibre的某些recipe有更新,重新执行部署脚本即可同步到你的项目。
在dashboard里面有 "Visit" 按钮,就是链接,如果出错,可以看dashboard里面的logs 直接访问链接至少会返回 ``` Auth Key is invalid! ```
1. RFA的img越界是因为在html里面指定了width/height,我已经更新代码,将img的这些属性删除。 2. 转发nytimes其实已经成功了,只是nytimes反爬虫机制发挥作用了,返回的源码中有提示: ``` Please enable JS and disable any ad blocker ``` 毕竟我们这个转发器是一个轻量化定制化的工具,不是完整的代理服务器,所以应用场景比较有限, 比如如果返回的html内容的图像文件是相对路径的话,就无法获取到图像,这时候可能你需要重载 `BasicNewsRecipe` 的函数 `image_url_processor()` 来返回正确的图像url。 不管怎么样,区区几十行代码就可以解决我们面临的特定问题,还算一个好工具吧。
Qt是桌面技术,不能在服务器环境使用。
经过搜索,发现兼容requests的库niquests已经支持http1.1/2/3,所以之后如果确实有需求,改一行代码就可以了。
好的,等他发布稳定版本,然后你需要哪个recipe在KindleEar里面无法获取,可以提issue,我看是否能解决。