支持的采集方式
rss:适合公开 RSS / Atom 信息源blog_scraper:适合没有 RSS 的静态站点,通过站点 profile 解析deepbrowse:适合复杂动态站点,作为兜底策略github_trending:聚合 GitHub Trendinghuggingface:聚合 Hugging Face Daily Papers
关键能力
- 统一管理预置源与自定义源
- 对单个 source 进行测试,验证连接与解析结果
- 通过分类维度管理不同研究主题
- 支持从预置 YAML 同步到数据库
如何使用
- 进入 Sources 页面查看现有 source
- 新建或编辑 source,设置名称、URL、分类与采集策略
- 执行 source test,确认采集返回正常
- 在创建 monitor 时选择需要的 source
相关接口
- 列表与详情:
GET /api/v1/sources、GET /api/v1/sources/{source_id} - 创建与更新:
POST /api/v1/sources、PATCH /api/v1/sources/{source_id} - 测试:
POST /api/v1/sources/{source_id}/test - 删除:
DELETE /api/v1/sources/{source_id}
运维说明
- 预置源可通过
make sync-sources同步 - 站点 profile 位于
backend/app/collectors/site_profiles/ - 新增非 RSS 站点时,优先走 profile 驱动流程,详见 编写 Collector 插件