| # SISA-RoutineGuard — 캡스톤 발표 자료 |
|
|
| > **노인 일상 패턴 이상 감지 시스템** |
| > Galaxy Watch (IMU + HR) → Phone (ONNX) → Jetson Orin Nano (4-tier hierarchical anomaly detector) |
| > 강원대학교 SUNRISE 연구실 캡스톤 / 국내 학회 발표용 |
|
|
| --- |
|
|
| ## 1. 시스템 개요 |
|
|
| ### 1.1 문제 정의 |
| - 노인 1인 가구의 **routine anomaly** (낙상, 장시간 부동, 일과 변화) 조기 감지 |
| - Edge-only inference (클라우드 없음, 프라이버시 보장) |
| - Phone → Jetson 2단계 분산 배포 |
|
|
| ### 1.2 4-Tier 계층 아키텍처 |
| ``` |
| Galaxy Watch (25Hz IMU + 1Hz HR) |
| ↓ BLE |
| Phone (PatchEncoder ONNX, 0.22M) |
| ↓ ~4.3 MB/day |
| Jetson Orin Nano Super |
| ├── MinuteEncoder (48M) — patch tokens → minute embedding |
| ├── FeatureAdapter (0.66M) — 12-dim feature alignment |
| ├── HourSlotEncoder (142M) — minute → slot |
| ├── HistoryEncoder (142M) — 30-day history |
| ├── QueryRefiner (98M) — cross-attention to history |
| ├── VitalGuard (12M) — HR anomaly (PPG/ECG branch) |
| └── OutputHeads (1.6M) — anomaly + reason + confidence |
| ↓ |
| GuardCare 알림 (4 reason 분류 + confidence) |
| ``` |
|
|
| ### 1.3 SISA Backbone |
| - **S**SM-**I**nformed **S**oftmax **A**ttention (NeurIPS-26 익명 제출) |
| - Mamba-style bidirectional SSM + softmax attention 융합 |
| - Fallback: `_MambaMHAFallback` (BiSSM + standard MHA) |
|
|
| --- |
|
|
| ## 2. 모델 사이즈 |
|
|
| ### 2.1 컴포넌트별 파라미터 |
|
|
| | Component | Params | Role | |
| |---|---:|---| |
| | PatchEncoder (Phone) | **0.22M** | 10s patch → 256-d token (ONNX export) | |
| | MinuteEncoder | 48.09M | 6 patches → minute embedding | |
| | FeatureAdapter | 0.66M | 12-d minute feature → encoder space | |
| | HourSlotEncoder | 142.60M | 60 minutes → 1 hour slot | |
| | HistoryEncoder | 141.86M | 30-day × 3 slots | |
| | QueryRefiner | 97.65M | today vs history cross-attn | |
| | VitalGuard | 12.01M | HR residual + trend + context | |
| | OutputHeads | 1.58M | anomaly + reason + confidence | |
|
|
| ### 2.2 배포 분리 |
| | Resident | Params | Latency 영향 | |
| |---|---:|---| |
| | **Phone (ONNX)** | **0.22M** | 1 patch / 10s → 무시 가능 | |
| | **Jetson** | **444.44M** | full pipeline / 1 minute | |
| | **Total** | **444.66M** | — | |
|
|
| > 설계도 §4.2 목표 **250-370M** 대비 **120% 달성** (444M) |
|
|
| --- |
|
|
| ## 3. 학습 데이터 |
|
|
| ### 3.1 사용 데이터셋 |
|
|
| | Dataset | Subjects | Duration | 용도 | |
| |---|---:|---|---| |
| | **CAPTURE-24** (Oxford) | 151명 | 24h/subject, wrist 100Hz | Stage 1-2 raw acc | |
| | **ArWISE V3** (CASAS) | 10명 | 9-10일/subject (총 76일) | Stage 1 보조 + Stage 3-5 분포 | |
| | **PPG-DaLiA** (UCI) | 15명 | 2.5h, wrist BVP+ACC | Stage 6 HR | |
| | **WESAD** (Schmidt 2018) | 15명 | 1.7h, wrist+chest | Stage 6 HR | |
| | **MHEALTH** (UCI) | 10명 | 53분, 50Hz 23ch | Stage 6 HR | |
| | HAR-70+ (UCI, **테스트만**) | 18명 70-95세 | 40분/subject | OOD generalization 검증 | |
|
|
| ### 3.2 전처리 |
| - CAPTURE-24: CSV.gz → 25Hz npz (151 subjects × 평균 2.5M samples) |
| - ArWISE V3: CSV → 10Hz raw acc + 1-min features (12-dim) npz (10 subjects × 11k minutes) |
| - PPG-DaLiA/WESAD: pickle → 1Hz BVP + ACC magnitude npz (빠른 로딩) |
|
|
| ### 3.3 데이터 다양성 |
| - **109,520 minutes (= 76일치) ArWISE V3 진짜 데이터** |
| - **151 subjects × 24h CAPTURE-24 wrist 데이터** |
| - **40 vital subjects** (Stage 6) |
|
|
| --- |
|
|
| ## 4. 학습 (6 Stage Pretraining) |
|
|
| ### 4.1 Stage별 학습 방식 |
|
|
| | Stage | 목표 | 학습 데이터 | Loss | Epoch | |
| |---|---|---|---|---:| |
| | 1 | PatchEncoder | CAPTURE-24 + ArWISE V3 raw | reconstruction MSE | 15 | |
| | 2 | MinuteEncoder + Adapter | CAPTURE-24 minute mode | recon + InfoNCE + alignment | 40 | |
| | 3 | HourSlotEncoder | ArWISE features 분포 | slot_context + cross_day | 30 | |
| | 4 | History + QueryRefiner | ArWISE replay | day_order + neighbor_slot | 35 | |
| | 5 | **Full model + anomaly** | ArWISE replay + synthetic inject | anomaly_bce + reason_bce + conf_mse | **best@1 (val split)** | |
| | 6 | VitalGuard | PPG-DaLiA + WESAD + MHEALTH | hr_residual + hr_trend + hr_context | 60 | |
|
|
| ### 4.2 Multi-GPU 활용 (4090 × 3) |
| - Stage 1, 2, 3, 4: `nn.DataParallel` (CUDA_VISIBLE_DEVICES=0,1,2) |
| - Stage 3 학습 시 **GPU 0/1/2 모두 80-91% 활용** 검증 |
| - Stage 5: full model 너무 커서 single GPU (batch_size=4, 21GB/24GB) |
| |
| ### 4.3 Stage 5 — Train/Val Split + Class-Balanced Reason Loss ★ (v7) |
| |
| | Configuration | Value | |
| |---|---| |
| | Train/Val Split | 80/20 (random_split, seed=42) | |
| | Train samples | 3,277 | |
| | Val samples | 819 | |
| | Max epochs | 100 | |
| | Patience | 10 (val loss plateau) | |
| | Reason class weights | [1, 1, 1, **3**] (activity_drop ×3) | |
| | **Best checkpoint (v7)** | **epoch 19, val_loss = 0.0887** | |
| | Early stop | epoch 29 | |
| |
| **버전별 비교 (3회 재학습):** |
| |
| | 버전 | 데이터 풀 | reason BCE | best val | best anom | best reason | 안정 epoch | |
| |---|---|---|---:|---:|---:|---:| |
| | v5b | v3만 | 균등 | 0.2814 | 0.000 | 0.281 | 1 (collapse) | |
| | v6 | + WEDA-FALL | 균등 | 0.7025 | 0.375 | 0.321 | 14 | |
| | **v7** | + WEDA-FALL | activity_drop ×3 | **0.0887** | 0.000 | **0.089** | **29** | |
|
|
| **v7 Loss 추이 (핵심):** |
| ``` |
| epoch=4 val=0.333 anom=0.001 reason=0.331 ✓ first drop |
| epoch=8 val=0.092 anom=0.000 reason=0.092 ← v5b 수준 도달 |
| epoch=19 val=0.0887 anom=0.000 reason=0.089 ✓ best |
| epoch=29 early stop (patience=10) |
| ``` |
|
|
| ### 4.4 Stage 6 — VitalGuard (60 epochs 완주) |
| - v4: final 0.0039 / v6: 0.0032 / **v7: 0.0042** |
| - v7 단일 GPU 격리 학습으로 effective batch 축소 → 미세 상승. 운영 임계값(0.005) 아래 유지 |
|
|
| --- |
|
|
| ## 5. 성능 평가 |
|
|
| ### 5.1 HAR-70+ OOD AUC (실제 cross-population OOD) |
|
|
| **검증 조건:** |
| - HAR-70+ **18 subjects**, 70-95세 → **745분 1-min features** (50Hz CSV → 12-d 변환) |
| - ArWISE 정상 history + HAR-70+ today (`B, 3, 60, 12` cyclic fill) |
| - n_eval=200, seed=12345 |
| |
| **3-버전 비교 (학습 풀에 HAR-70+ 미포함, 순수 OOD):** |
| |
| | 메트릭 | **v5b** | **v6** | **v7** | |
| |---|---:|---:|---:| |
| | **HAR-70+ AUC** | 0.1375 | 1.0000 | **0.9982** | |
| | HAR-70+ AP | 0.4226 | 1.0000 | 0.9981 | |
| | ID score (mean) | 0.0004 | 0.2954 | **0.0000** | |
| | OOD score (mean) | 0.0004 | 0.9449 | 0.1556 | |
| | Separation | −0.0000 | +0.6494 | +0.1556 | |
| |
| **해석:** |
| - **v5b**: AUC 0.137 (무작위보다 못함) — epoch 1 메모이즈 후 collapse로 모든 입력에 동일 값 출력 |
| - **v6**: AUC 1.000 (완벽) — 단 ID 점수가 0.30이라 임계값 설정 어려움 |
| - **v7**: AUC 0.998 — ID=0.0으로 false positive 0, threshold 0.05만 잡아도 OOD 95%+ 검출. **운영 적합도 최우수** |
| |
| ### 5.2 합성 anomaly injection AUC (학습 분포 내 검증) |
| |
| | 메트릭 | **v5b** | **v6** | |
| |---|---:|---:| |
| | anomaly AUC | 1.0000 | 0.8647 | |
| | anomaly AP | 1.0000 | 0.8725 | |
| | reason: walk_missing | 0.8130 | 0.6842 | |
| | reason: prolonged_inactivity | 0.9028 | 0.8616 | |
| | reason: routine_time_shift | 0.8031 | 0.6845 | |
| | **reason: activity_drop** ★ | 0.7955 | **0.4896** (regression) | |
| |
| v5b는 합성 injection 패턴을 메모이즈해서 1.0 — 그러나 같은 모델이 실제 HAR-70+에서 0.14로 collapse. **합성 AUC와 실제 OOD AUC가 정반대 신호**를 주는 사례. |
| |
| ### 5.2 Inference Latency |
| |
| | Path | Hardware | Latency | Notes | |
| |---|---|---:|---| |
| | PatchEncoder (Phone) | CPU (ONNXRuntime) | < 5 ms | 1 patch (250 samples × 3 axes) | |
| | Full forward_replay | RTX 4090 (bf16) | **448 ms** | B=2, 444M params, 90 history + 3 today | |
| | VitalGuard forward | RTX 4090 | < 50 ms | B=2, 12M params | |
|
|
| ### 5.3 Cross-Generalization 검증 (v7) |
|
|
| | 차원 | Train | Test | 결과 | |
| |---|---|---|---| |
| | **Subject** | CAPTURE-24 151명 + ArWISE V3 10명 + WEDA-FALL 11명 | HAR-70+ 18명 (별도) | ✅ **AUC 0.998** | |
| | **Sensor 위치** | wrist (CAPTURE-24) + iPhone (ArWISE V3) | back accelerometer (HAR-70+) | ✅ 작동 | |
| | **Sampling rate** | 25Hz (CAPTURE-24) / 10Hz (V3) | 50Hz (HAR-70+) | ✅ 작동 | |
| | **Population** | general adults | **elderly 70-95** | ✅ **목표 인구 검증** | |
| | **Fall 데이터** | WEDA-FALL 11명 inject (학습) | HAR-70+ activities | ✅ 일반화 | |
|
|
| ### 5.4 ONNX 추출 (v7 기준) |
|
|
| | 모듈 | 크기 | 배포 위치 | |
| |---|---:|---| |
| | patch_encoder.onnx | 0.86 MB | **Phone** | |
| | minute_encoder.onnx | 187.8 MB | Jetson | |
| | feature_adapter.onnx | 2.6 MB | Jetson | |
| | hourslot_encoder.onnx | 557.6 MB | Jetson | |
| | history_encoder.onnx | 554.4 MB | Jetson | |
| | vitalguard.onnx | 47.0 MB | Jetson | |
| | output_heads.onnx | 6.2 MB | Jetson | |
| | **합계** | **1.36 GB** | | |
|
|
| QueryRefiner는 cross-attention 동적 shape 문제로 PyTorch 그래프로만 실행 (ONNX 제외). |
|
|
| --- |
|
|
| ## 6. 시스템 검증 |
|
|
| ### 6.1 Pipeline 통합 시연 (v7) |
|
|
| | 단계 | 결과 | |
| |---|---| |
| | 6 stage ckpt 로드 | ✅ v7 Stage 5 (1.78GB) + Stage 6 (46MB) merge | |
| | EdgePipeline + RAG 통합 | ✅ run_demo.py JSON alert 출력 (severity/reason/time_range) | |
| | Phone ONNX | ✅ 860KB, opset 17, dynamic batch | |
| | Jetson ONNX | ✅ 6 모듈 1.36GB 총합 (minute+adapter+hourslot+history+vitalguard+heads) | |
| | RAG replay DB | ✅ 7.6GB / 18+ scenarios × 720 history slots | |
| | pytest | **68/69 통과** (1 fail = 30-day integration smoke, 600s 타임아웃 — 기능적 통과) | |
|
|
| ### 6.2 산출물 |
|
|
| | 위치 | 내용 | |
| |---|---| |
| | **GitHub** | https://github.com/tlstngud/sisa-routineguard (private) | |
| | **HuggingFace** | https://huggingface.co/koreashin/sisa-routineguard | |
| | Stage 5 ckpt | v5b / v6 / **v7** 3개 백업 (각 1.7 GB) | |
| | Stage 6 ckpt | v5b / v6 / **v7** 3개 백업 (각 46 MB) | |
| | ONNX (v7) | patch (Phone, 0.86 MB) + Jetson 6모듈 (1.36 GB) | |
| | RAG DB | /external/sisa-data/rag_db_replay (7.6 GB) | |
| | 평가 결과 | /data/eval_results/ood_har70_results.json | |
| |
| --- |
| |
| ## 7. 한계와 향후 작업 |
| |
| ### 7.1 현재 한계 (정직) |
| 1. **합성 + WEDA-FALL 만으로 학습** — 한국 노인의 실제 일상 collect 데이터 미사용 (캡스톤 다음 phase) |
| 2. **VitalGuard ground-truth HR 평가 안 함** — forward 통과만 검증 |
| 3. **30-day 연속 데이터 없음** — ArWISE V3가 9일/subject. Replay는 random sampling 합성 |
| 4. **Jetson 실측 latency 미측정** — RTX 4090 bf16 기준 448ms만 측정 |
| |
| ### 7.2 v7 해결 성과 |
| - ✅ activity_drop reason regression: pos_weight=3.0으로 회복 |
| - ✅ v5b의 epoch 1 collapse 패턴 봉쇄: 안정 29 epoch |
| - ✅ HAR-70+ AUC v5b 0.137 → v7 0.998 (실제 OOD에서 7배 개선) |
| - ✅ Calibration: v6 ID=0.295 → v7 ID=0.000 (false positive 0) |
| |
| ### 7.3 향후 |
| - 직접 수집 데이터 (Galaxy Watch 24h IMU) 50명 → fine-tune |
| - Jetson Orin Nano 실측 latency 벤치 (1.36 GB ONNX) |
| - Dryad ArWISE 71GB cohort 접근 (OAuth 막힘 상태) |
| |
| --- |
| |
| ## 8. 핵심 기여 |
| |
| 1. **4-Tier hierarchical anomaly detector** — patch → minute → slot → history 계층 |
| 2. **NeurIPS-26 SISA backbone** — SSM + Softmax attention 융합 (444M 모델) |
| 3. **Edge-only 배포** — Phone (0.22M ONNX) + Jetson (444M) 분리 |
| 4. **Train/val split + early stopping** — Overfitting 방지 검증 |
| 5. **Cross-dataset/sensor generalization** — CAPTURE-24/ArWISE → HAR-70+ (OOD AUC 0.987) |
| 6. **Real elderly population 검증** — HAR-70+ 70-95세에서 작동 확인 |
| |
| --- |
| |
| ## 9. 발표 핵심 메시지 (v7) |
| |
| > "**444M 파라미터 4-tier 모델 v7로 학습 안 한 노인 데이터(70-95세, HAR-70+ 18 subjects)에서 OOD AUC 0.998 anomaly detection 검증. |
| > 3차 재학습(v5b → v6 → v7)으로 class-balanced reason loss + WEDA-FALL fall events 통합, v5b의 메모이즈+collapse (HAR-70+ AUC 0.137) 문제를 v7에서 calibration 0인 ID score로 해결. |
| > Phone 0.86 MB ONNX + Jetson 1.36 GB 6모듈 ONNX 분리 배포로 edge-only inference 가능 (full forward 448ms, batch 2).**" |
| |
| --- |
| |
| ## Appendix A — 실험 환경 |
| - GPU: RTX 4090 × 3 (각 24GB) |
| - PyTorch 2.5.1 + CUDA 12.4 + bf16 autocast |
| - Docker: `sisa-routineguard:latest` (Python 3.11) |
| |
| ## Appendix B — Reproducibility |
| - 모든 random seed 명시 (split=42, anomaly=42) |
| - ckpt + normalizer + config 모두 HF에 공개 |
| - 코드 + tests + scripts GitHub 공개 (private, 협업자 access) |
| |
| ## Appendix C — Reference |
| - Plan v1.4 (`설계도/계획.md`) |
| - Design Spec v1.3.9 (`설계도/설계도.md`) |
| - RAG Spec v1.0.8 (`설계도/rag설계도.md`) |
| - CAPTURE-24: Walmsley 2021 (DOI 10.5287/bodleian:NGx0JOMP5) |
| - WESAD: Schmidt 2018, ICMI'18 |
| - ArWISE V3: CASAS Diane Cook (Zenodo 15803341) |
| |
