muckja999/clist-predictive-maintenance

🏭 CLiST: Multimodal Predictive Maintenance Model

📌 Model Description (모델 개요)

CLiST; Cross-modal Late-fusion integrated Sensor & Thermal network는 스마트 제조 현장의 이송장치(AGV/OHT)에서 발생하는 탄화 위험을 실시간으로 감지하고 예측하기 위해 학습된 사전 학습 가중치(Pre-trained Weights)입니다.

본 프로젝트의 핵심 모델인 CLiST는 멀티모달 지연 융합(Late-Fusion) 아키텍처를 다룬 선행연구 논문의 아이디어를 기반으로, 실제 스마트 제조 현장의 이송장치 데이터 특성에 맞게 직접 설계하고 PyTorch로 구현(Implementation)한 모델입니다.

• 📄 Reference Paper: A Multimodal Time-Frequency Fusion Architecture for Fault Diagnosis in Rotating Machinery

1D 시계열 센서 데이터와 2D 열화상 이미지를 동시에 분석하는 멀티모달(Multimodal) 아키텍처를 가지며, 장비의 상태를 4가지 위험도 등급(Normal, Attention, Warning, Danger)으로 분류합니다.

• Developed by: 전운열 (Jeon Un-yeol)

• Model type: Multimodal Classification Network (1D-CNN + Swin Transformer)

• License: Apache-2.0

• Language(s): Korean

🏗️ Model Architecture (모델 구조)

• 1D Sensor Stream: LightTSEncoder (Rolling Window + 1D-CNN)를 통해 시계열 센서의 통계적 불안정성(Mean, Var, Kurt)을 추출합니다.

• 2D Vision Stream: LiteSwinEncoder (Swin-T 기반)를 통해 열화상 이미지의 국소 발열(Hot Spot) 패턴을 파악합니다.

• Fusion Strategy: 두 모달리티에서 추출된 특징을 최종 분류기 직전에서 결합하는 Late Fusion (지연 융합) 방식을 채택하였습니다.

🚀 How to Use (사용 방법)

이 가중치 파일(best_clist_model.pth)과 정규화 통계량 파일(domain_stats.json)은 단독으로 실행될 수 없으며, CLiST 프로젝트의 전체 소스 코드와 함께 사용되어야 합니다.

1. 소스 코드 다운로드 아래 GitHub 레포지토리에서 추론 파이프라인 코드를 클론합니다.

• 👉 GitHub Repository Link

2. 가중치 파일 배치 이 Hugging Face 저장소의 Files and versions 탭에서 아래 두 파일을 다운로드하여, 클론한 GitHub 프로젝트 내부의 weights/ 폴더 안에 위치시킵니다.

• best_clist_model.pth

• domain_stats.json

3. 추론 실행 (Python API)

from clist.pipeline import CLiSTPipeline

# 파이프라인 로드 (가중치 및 통계량 자동 적용)
pipeline = CLiSTPipeline(weight_path='weights/best_clist_model.pth', stats_path='weights/domain_stats.json')

# 예측 수행
result = pipeline.predict(sensor_csv_path='sensor.csv', vision_bin_path='thermal.bin')
print(result['predicted_status']) # ex: "Danger(위험)"

📊 Training Data (학습 데이터)

이 모델은 AI-Hub, 한국지능정보사회진흥원에서 제공하는 '제조현장 이송장치의 열화 예지보전 멀티모달 데이터'를 사용하여 학습되었습니다.

주의: 원본 학습 데이터는 AI-Hub 이용약관 및 대한민국 저작권법에 의해 보호받고 있으므로 본 모델 저장소에는 포함되어 있지 않습니다. 데이터를 직접 활용하시려면 AI-Hub 웹사이트를 통해 별도로 신청 및 다운로드하셔야 합니다.

AI-Hub 제조현장 이송장치 데이터 페이지

📈 Evaluation Metrics (평가 지표)

클래스 간 데이터 불균형(Class Imbalance)이 심한 예지보전 데이터의 특성을 고려하여, 주된 평가 지표로 Macro F1 Score를 사용하여 모델 성능을 검증 및 최적화(Optuna)하였습니다.