hotfish
hotfish copied to clipboard
获取知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站热门头条的多线程爬虫,使用Flask聚合网站。
获取各大热门网站热门头条的多线程爬虫,使用Flask聚合网站
知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站排行榜

使用步骤:
数据库表结构见hotrows.sql
先修改spiders.py 和 config.py 的数据库配置
- 安装依赖
pip install -r requirements.txt
- 运行爬虫(建议设为定时任务)
python spiders.py
- 启动Flask
python app.py