Collection — 다크웹과 Telegram 수집
Telegram 채널 200개 이상, 클리어넷·다크넷 포럼 1,500개 이상과 RSS 피드, 사이트맵, 다크웹 onion 크롤러를 아우르는 다중 소스 수집 파이프라인입니다.
개요
수집된 모든 콘텐츠는 플랫폼 내부 스키마로 정규화되고 색인 전에 보강되어, 검색·모니터·그래프·분석에 그대로 활용됩니다.
주요 기능
- 소스별로 맞춤 설정하는 크롤러
- 서킷 로테이션을 갖춘 내장 Tor 네트워크
- 대상 서버를 배려하는 요청 속도 제한
- 스키마 정규화
- 소스 품질 점수 산정
활용 사례
- Telegram 채널에서 IOC 상시 수집
- 언더그라운드 포럼을 분야별로 색인
- 전문 피드를 위한 RSS 파이프라인 구성
- 새로 등장한 onion 사이트 크롤링
연동
- Telegram Bot API
- Tor SOCKS5 프록시
- RSS/Atom/JSON Feed
SLA 및 보증
상시 수집 · 200개 이상 소스 가동