Collection — Erfassung im Dark Web und auf Telegram
Erfassungs-Pipeline über viele Quellen hinweg: mehr als 200 Telegram-Kanäle, über 1.500 Foren im Clearnet und Darknet, RSS-Feeds, Sitemaps und ein Onion-Crawler für das Dark Web.
Überblick
Alle erfassten Inhalte werden auf das interne Schema der Plattform normalisiert und vor der Indexierung angereichert — die Grundlage für Suche, Monitore, Graph und Analytics.
Funktionen
- Je Quelle anpassbare Crawler
- Natives Tor-Netzwerk mit Circuit Rotation
- Rücksichtsvolles Rate Limiting
- Normalisierung auf ein einheitliches Schema
- Qualitätsbewertung der Quellen
Anwendungsfälle
- IOCs laufend aus Telegram-Kanälen gewinnen
- Untergrundforen nach Kategorie indexieren
- RSS-Pipeline für Spezialfeeds
- Crawler für neu auftauchende Onion-Seiten
Integrationen
- Telegram Bot API
- Tor SOCKS5 Proxy
- RSS/Atom/JSON Feed
SLA & Garantien
Durchgehende Erfassung · 200+ aktive Quellen