Collection — ダークウェブとTelegramの収集
複数ソースを対象とする収集パイプラインです。200以上のTelegramチャンネル、1,500以上のクリアネット／ダークネットのフォーラム、RSSフィード、サイトマップ、そしてダークウェブ向けonionクローラーをカバーします。
概要
収集したコンテンツはすべてプラットフォーム内部のスキーマに正規化され、インデックス化の前にエンリッチメントを受けます。これが検索、監視、グラフ、分析の共通の土台になります。
主な機能
- ソースごとにカスタマイズ可能なクローラー
- Torネットワークのネイティブ対応（回線の自動切り替え）
- 相手先に負荷をかけないレート制限
- スキーマの正規化
- ソース品質のスコアリング
ユースケース
- TelegramチャンネルからIOCを継続的に収集する
- アンダーグラウンドフォーラムをカテゴリ別にインデックス化する
- 専門メディアのRSSを取り込むパイプラインを構築する
- 新規に出現したonionサイトを巡回する
連携
- Telegram Bot API
- Tor SOCKS5プロキシ
- RSS／Atom／JSON Feed
SLA・保証
継続的な収集 · 200以上の稼働中ソース