Data Leak Detection — 유출 데이터 검색
플랫폼이 색인해 둔 유출 문서 보관소를 대상으로 하는 검색 엔진입니다. 대상 자료는 덤프, 콤보리스트, 인포스틸러 로그, 포럼 유출물, 그리고 고객이 직접 올린 자료입니다. 조회는 페더레이션 방식으로 이루어집니다. 요청 하나가 설정된 모든 색인 서버로 나가고, 응답은 하나의 결과로 합쳐져 돌아옵니다.
개요
모든 문서는 조각 단위로 잘려 색인에 들어갑니다. 검색어는 조각 본문(가중치 3), 파일명(가중치 2), 섹션·제목 메타데이터에 대조되며 오타를 어느 정도 허용합니다. 결과에는 검색어가 문장 한가운데에서 강조된 발췌문이 최대 세 개까지 따라오므로, 분석가는 파일을 열지 않고도 맥락을 읽을 수 있습니다.
결과 위에는 필터이자 진단 도구 역할을 하는 집계 세 가지가 함께 나옵니다. 파일 형식별, 카테고리별, 출처별입니다. 예컨대 같은 CNPJ(브라질 법인 등록번호)가 어느 출처에서는 스프레드시트 열다섯 개에 등장하고 다른 출처에서는 이메일 한 통에만 등장한다는 사실이 이렇게 드러납니다.
내부 동작 방식
페더레이션과 페이지 처리. 플랫폼은 환경 설정을 통해 색인 서버를 찾아내고 전부에 질의합니다. 집계는 키 단위로 합산되고, 결과는 이미 합쳐진 집합 안에서 관련도에 따라 다시 정렬된 뒤에야 페이지로 나뉩니다. 서버 하나가 실패해도 나머지가 응답하며 실패 사실은 기록으로 남습니다. 가장 느린 노드에 검색 전체가 발목 잡히지 않습니다.
페일클로즈드 격리. 글로벌 관리자가 아닌 사용자에게는 조직 필터가 언제나 적용됩니다. 색인된 문서 일부에 아직 조직 필드가 없더라도 마찬가지입니다. 이 동작은 의도된 것입니다. 필드가 없는 문서는 조건에 걸리지 않으므로 결과에 나타나지 않습니다. 필드가 비어 있으면 필터를 걷어내고 전부 돌려주던 예전 방식을 버리고, 적게 내주는 쪽으로 틀리는 방식을 택한 엔지니어링 판단입니다. 유출 데이터 검색에서 거짓 음성은 불편함이지만, 고객 사이의 데이터 노출은 사고입니다.
소스 간 파일 지문. 같은 파일이 여러 경로로 돌아다닙니다. 플랫폼은 문서마다 sha256, sha1, md5를 보관하고 출현 횟수와 최초·최종 등장일을 함께 기록합니다. 이는 본문 검색만으로는 답할 수 없는 질문에 답합니다. 이 덤프는 새것인가, 아니면 3월에 돌던 것을 다시 포장한 것인가.
신뢰도를 명시한 귀속. 파일 지문마다 귀속 정보를 붙일 수 있습니다. 행위자, 캠페인, 유입 경로(Telegram, 포럼, 페이스트, 마켓플레이스, 스틸러 로그, 다크웹, 클리어웹, 파트너 피드, 수동 업로드), URL과 게시자 핸들, 그리고 판단 근거입니다. 신뢰도는 세 단계이며 각 단계의 기준이 명시되어 있습니다. 낮음은 자동 휴리스틱, 중간은 소스 간 상관 분석, 높음은 여러 신호를 갖춘 사람의 검토를 요구합니다. 검토자 이름과 검토 날짜가 기록에 남습니다.
주요 기능
- 구조화된 셀렉터: 이메일, 도메인, URL, IPv4, IPv6, 전화번호, 비트코인 주소, 이더리움 주소, CPF와 CNPJ(브라질 개인·법인 등록번호)
- PDF, DOCX, XLSX, PPTX, HTML, EML과 ZIP·RAR·7z 압축 파일에서 텍스트 추출
- 저장 검색과 조직 내 선택적 공유. 수정은 작성자 또는 조직 관리자가 수행
- JSON 또는 CSV 내보내기, 상한은 100·500·1,000·5,000건 중 선택
- 여섯 가지 이벤트 감사(검색, 조회, 다운로드, 내보내기, 검색 저장, 검색 삭제). IP, 질의문, 필터, 결과 수, 응답 시간이 함께 기록됩니다
활용 사례
- 회사 자격증명이 최근 유출물에 나타났는지, 어느 경로였는지 확인
- 거래되는 데이터베이스에서 고객의 CPF·CNPJ 노출 추적
- 출현 횟수를 근거로, 신규라고 광고된 덤프가 실은 이미 돌던 것인지 판단
- 침해 사고 통지나 테이크다운 요청에 필요한 출처 증거 확보
이 모듈이 하지 않는 일
- 저장 검색은 알림을 보내지 않습니다. 질의를 재사용하려고 보관할 뿐 예약 실행하지 않습니다. 알림이 따르는 상시 감시는 같은 보관소를 조회하는 Threat Monitoring의 역할입니다.
- HaveIBeenPwned, DeHashed 등 외부의 동종 서비스를 조회하지 않습니다.
- 기업 디렉터리에 쓰기를 하지 않습니다. Active Directory나 Entra ID에서 비밀번호 변경을 강제하거나 계정을 비활성화하지 않습니다.
- 높은 신뢰도로 자동 귀속하지 않습니다. 높음 등급에는 사람의 서명이 필요합니다.
- 추출된 텍스트를 관계형 데이터베이스에 보관하지 않습니다. 텍스트는 검색 색인 안에 존재합니다.
연동
- 다중 서버 OpenSearch(
ooda_leaks_*색인) - Airflow — 색인 전에 OCR이 필요한 문서 처리
- OODA Threat Monitoring(이 보관소에 대한 반복 검색), OODA EASM(유출과 외부 경계 자산의 상관 분석)
SLA 및 보증
집계를 병합하는 페더레이션 색인 · 페일클로즈드 조직 격리 · 모든 조회 감사 기록