ShellMonster

selenium可过Cloudflare检测

1

修改库依赖； 第245行，换了实例化的方法； 第189，190行注释掉了，因为用undetected_chromedriver时这两个参数会导致Chrome闪退； 但是不知道咋结合源代码，根据use_stealth_js的布尔值进行判断用哪个来实例化；

## **以下为 CentOS、Ubuntu 系统的情况** ### 情况说明： **更新dst面板后会出现 “密码错误” 的提示**，打开f12看到网页接口报错，提示 "No ./password.txt"的情况； 此种情况说明，更新时，**账号密码的文件丢了**，需要给dst面板重新配一个才能登录进去。 ## 操作方案： ### 1. 准备好重置的账号密码及头像； 根据下方的命令，替换掉对应的内容，这里只替换了账号密码，展示名称和头像地址也是可以换的； ```shell echo "username=替换为你的登录账号" >> /app/password.txt echo "password=替换为你的登录账号" >> /app/password.txt echo "displayName=admin" >>...

feat: Add CSV Pipeline for data export and storage

1

## 功能概述 为feapder框架添加CSV数据导出存储管道，支持将爬虫数据直接保存到CSV文件。 ## 核心特性 - **Per-Table Lock设计**：表级别锁机制，支持并发写入不同表，避免锁竞争 - **自动批处理**：继承ItemBuffer的1000条/秒批处理机制 - **断点续爬**：CSV追加模式，支持爬虫中断后继续 - **数据可靠性**：fsync()确保数据写入磁盘，与数据库commit等效 - **开箱即用**：零依赖（仅使用Python标准库），支持独立调用 ## 性能指标 - **单批吞吐量**：25-41万条/秒（超预期2.5-4.1倍） - **并发吞吐量**：19-27万条/秒（8线程场景） - **内存占用**：

新增：智能上下文管理功能（Feapder.Request() 中无需再手动传递参数）

1

## 功能概述 通过静态代码分析和运行时参数收集，实现回调函数之间的参数自动传递，解决多层回调中的参数传递难题； 用于支持多层parse函数时容易忘记传参，一直报错要排查的麻烦。 ## 核心特性 - 三种参数来源自动捕获（局部变量、request 属性、显式传入） - 两种传递模式（transitive 传递性模式、direct 直接模式） - 智能参数过滤（私有变量、特殊对象、大对象自动过滤） - 静态代码分析（启动时一次性分析，构建回调依赖图） ## 新增文件 - feapder/utils/context_analyzer.py - 静态代码分析引擎 - docs/usage/智能上下文管理.md - 完整使用文档 - tests/test_smart_context*.py -...

V2.0 - 技术栈升级与性能优化

1

本次 PR 对项目进行了全面的技术栈升级和性能优化，同时新增了多项实用功能，提升用户体验。 ## 技术栈升级 | 项目 | 原版本 | 新版本 | |-----|--------|--------| | 构建工具 | Umi 3.4 | **Vite 5.0** | | React | 17.x | **18.2** | |...