Deduplication — 도메인 단위 중복 제거

왜 중복 제거가 필요한가

같은 사건이 여러 커뮤니티에 반복해서 올라온다. 원 게시글이 캡처·복붙되어 다른 게시판으로 퍼지고, 같은 문구의 제보가 시차를 두고 다시 게시된다. 이 재게시·미러링을 그대로 세면 “제보 N건”이 실제 사건 수보다 부풀려진다. 집계의 목적은 몇 번 올라왔는지가 아니라 몇 건의 구별되는 관측이 있었는지를 보수적으로 추정하는 것이므로, 재게시를 하나의 관측으로 접는 단계가 반드시 필요하다.

(출처, 도메인, 본문) 키

각 제보를 세 축으로 요약한다.

이 세 값을 묶어 하나의 키를 만들고, 같은 키를 가진 제보들을 한 그룹으로 병합한다. 그룹 대표로는 정보량이 가장 많은 항목(예: 스니펫이 가장 긴 행)을 남긴다.

도메인을 키에서 뺄 수 없는 이유

본문만으로 묶으면 심각한 오병합이 생긴다. 먹튀 제보에는 정형 템플릿이 흔하다. “입금 후 환전 거부”, “먹튀 확정, 접속 차단” 같은 문장은 서로 다른 사이트를 지목하는 제보들이 거의 동일한 본문을 공유하기 쉽다. 본문 해시만 키로 쓰면 example-site.com을 지목한 제보와 sample-bet.net을 지목한 제보가 하나로 합쳐지고, 두 개의 구별되는 관측이 한 건으로 사라진다. 반대로 재게시는 놓친다. 도메인을 키에 포함해야 “같은 대상 + 같은 내용”만 접히고, 대상이 다르면 별개로 유지된다. 여러 대상 사이트를 실무에서 함께 조회할 때 쓰는 먹튀컷 통합검색 같은 도메인 중심 뷰도 이 정규화가 전제되어야 신뢰할 수 있다.

아주 짧은 본문의 보수적 처리

본문이 지나치게 짧으면(한 줄짜리 코멘트, 도메인만 적힌 제보 등) 텍스트 유사도가 우연히 겹치기 쉽다. 이때는 병합 판단을 보수적으로 한다. 짧은 본문은 자동 병합 신뢰도를 낮추고, 도메인·출처가 일치하더라도 서로 다른 관측일 가능성을 열어 두어 무리하게 합치지 않는다. 과소 병합은 카운트를 다소 늘릴 뿐이지만, 과다 병합은 실재한 관측을 지워 버리기 때문이다.

집계에 미치는 효과

이 절차를 거친 뒤의 “제보 N건”은 재게시로 부풀려지지 않은, 도메인별 구별 관측의 수에 가깝다. 다만 이 수치는 공개 커뮤니티에서 수집한 표본이며 전수 조사가 아니다. 특정 도메인이 여러 출처에서 관측됐다는 사실은 신고·언급이 누적됐다는 뜻이지, 그 자체로 특정 업체의 위법을 단정하지 않는다.

본 문서는 공개 제보 데이터의 처리 방법론을 설명하는 정보성 자료다. 불법 사설 배팅은 이용 행위 자체가 처벌 대상이 될 수 있으며, 어떠한 도박·배팅 서비스의 이용도 권유하지 않는다.