基于scrapy的多阶段式通用爬虫框架

前提环境

python

make (windows)

Chrome

使用

Note

环境配置: 环境配置

配置模板参考: 配置模板

配置字段文档: 配置详解

测试配置: 测试配置

待办

• 添加测试配置
• 添加 Makefile
• 添加git提交预检查
• 自动继承上个请求的cookie（假设存在）
• 中间件添加
  • 请求头
  • 代理
  • 请求间隔
  • 重定向
  • 统计响应状态
  • 其他
• 添加管道
  • mysql
  • mongodb
  • local csv/json/xlsx
  • 其他
• 添加解析字段的额外处理逻辑
  • 解析前
  • 解析后
• 添加浏览器的抓取方式 （中间件形式）
• 添加通过点击生成配置的前端展示 生成配置
• 其他
  • 添加接口方式提交配置进行抓取
  • 封装成容器
  • 根据通用配置生成requests爬虫