taskpyro icon indicating copy to clipboard operation
taskpyro copied to clipboard

爬虫管理系统,爬虫管理平台,分布式爬虫管理平台,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持nod...

Results 6 taskpyro issues
Sort by recently updated
recently updated
newest added

看了下文档,没有关于k8s的部署方案,能出相关文档教程吗?

整套系统,更像是发布平台&运维管理工具。其实一些中大企业,不用虚拟机。 k8s管理平台,可以解决发布、定时任务、日志查看等等这些问题。 如果可以偏向于爬虫业务多一些,就更好了。 比如爬虫过程中的指标上报和监控,结果落库数据库的监控和聚合。 再加一些爬虫结合AI智能化的产品,比如低代码爬虫生成,比如一些实用小工具。 产品的出发点,是爬虫这个工作的工作平台,目的是提高产品和数据质量,任务和监控指标可视化,提高效率,降低成本,可视化交付物,甚至是kpi指标具象的体现,这个我觉得才是企业级的核心。

开源吗,有免费版用吗 我看设置里有·许可证信息·

使用git clone https://gitee.com/taskPyroer/taskpyrodocker.git来去代码,然后使用docker-compose up命令,提示Error response from daemon: error while creating mount source path '/opt/taskpyrodata/static': mkdir /opt/taskpyrodata: read-only file system。宿主机的文件夹已经创建并给与755权限,看着报错是镜像启动的时候内部文件夹权限不可用,咱们这边能看出是哪里出了问题吗?