Collection —— 暗网与 Telegram 数据采集
多源采集流水线,覆盖 200+ 个 Telegram 频道、1.500+ 个明网/暗网论坛、RSS 源、站点地图,以及面向暗网的 onion 爬虫。
概览
所有采集到的内容都会先归一化为平台内部数据结构,并在建立索引前完成信息增强,随后供检索、监控、关系图与分析功能使用。
核心能力
- 可按数据源定制的爬虫
- 原生支持 Tor 网络并自动更换链路
- 采集节奏克制,不对目标造成压力
- 数据结构归一化
- 数据源质量评分
应用场景
- 持续从 Telegram 频道采集 IOC
- 按类别为地下论坛建立索引
- 为垂直领域信息源搭建 RSS 采集流水线
- 爬取新出现的 onion 站点
集成
- Telegram Bot API
- Tor SOCKS5 代理
- RSS/Atom/JSON Feed
SLA 与保障
持续采集 · 200+ 个活跃数据源