Hyeonseo/ko-smishing-detector

Social-Issue-Aware Smishing Detector

이 모델은 한국어 SMS 문자 메시지가 스미싱(피싱 사기)인지 정상 문자 인지를 판별하기 위해 만들어진 TF-IDF + Logistic Regression 앙상블 분류기입니다.

📖 학습 데이터셋 출처

• 본 모델은 Hugging Face 커뮤니티의 오픈 데이터셋인 meal-bbang/Korean_message 를 사용하여 학습 및 검증되었습니다 (총 16,309건).

📌 주요 특징

• 형태소 분석기 불필요: char_wb n-gram 방식을 사용하여 MeCab, KoNLPy 등의 설치 없이도 한국어 조사와 어간 패턴을 학습합니다. 초당 수천 건 이상 추론 가능한 극도의 가벼움을 지닙니다.
• 특수 기호 처리 (전각 문자 정규화): unicodedata.normalize의 NFKC 모드를 활용하여 은행에서 가끔 보내거나 공격자들이 필터링을 피하기 위해 꼼수로 쓰는 '전각 문자'들을 일반 글자 폭 형태로 바르게 정규화했습니다.
• URL 토큰 치환 기법: 머신러닝 분류기가 URL 형태 그 자체에 집중할 수 있도록 텍스트에 포함된 모든 웹 주소(http/www)를 정규식을 통해 __URL__ 이라는 특수 토큰으로 일괄 치환하여 학습시켰습니다.

📊 모델 성능

상세 수치는 metrics.json 참고.

• AUC-ROC: 0.9995
• F1 Score: 0.9981

🚀 사용 방법 (Python)

import joblib
from huggingface_hub import hf_hub_download

# 허브에서 파일 다운로드
model_path = hf_hub_download(repo_id="Hyeonseo/ko-smishing-detector", filename="pipeline.pkl")
pipeline = joblib.load(model_path)

# 추론 테스트 (0: 정상, 1: 스미싱)
texts = [
    "[Web발신] 안녕하세요, 재난지원금 신청 안내입니다. http://bit.ly/fakeurl",
    "대리님 내일 오후 3시 회의 자료 첨부합니다."
]
probas = pipeline.predict_proba(texts)[:, 1]

for txt, score in zip(texts, probas):
    print(f"스미싱 확률 {score:.2%} : {txt}")