SISA-RoutineGuard — 캡스톤 발표 자료
노인 일상 패턴 이상 감지 시스템
Galaxy Watch (IMU + HR) → Phone (ONNX) → Jetson Orin Nano (4-tier hierarchical anomaly detector)
강원대학교 SUNRISE 연구실 캡스톤 / 국내 학회 발표용
1. 시스템 개요
1.1 문제 정의
- 노인 1인 가구의 routine anomaly (낙상, 장시간 부동, 일과 변화) 조기 감지
- Edge-only inference (클라우드 없음, 프라이버시 보장)
- Phone → Jetson 2단계 분산 배포
1.2 4-Tier 계층 아키텍처
Galaxy Watch (25Hz IMU + 1Hz HR)
↓ BLE
Phone (PatchEncoder ONNX, 0.22M)
↓ ~4.3 MB/day
Jetson Orin Nano Super
├── MinuteEncoder (48M) — patch tokens → minute embedding
├── FeatureAdapter (0.66M) — 12-dim feature alignment
├── HourSlotEncoder (142M) — minute → slot
├── HistoryEncoder (142M) — 30-day history
├── QueryRefiner (98M) — cross-attention to history
├── VitalGuard (12M) — HR anomaly (PPG/ECG branch)
└── OutputHeads (1.6M) — anomaly + reason + confidence
↓
GuardCare 알림 (4 reason 분류 + confidence)
1.3 SISA Backbone
- SSM-Informed Softmax Attention (NeurIPS-26 익명 제출)
- Mamba-style bidirectional SSM + softmax attention 융합
- Fallback:
_MambaMHAFallback (BiSSM + standard MHA)
2. 모델 사이즈
2.1 컴포넌트별 파라미터
| Component |
Params |
Role |
| PatchEncoder (Phone) |
0.22M |
10s patch → 256-d token (ONNX export) |
| MinuteEncoder |
48.09M |
6 patches → minute embedding |
| FeatureAdapter |
0.66M |
12-d minute feature → encoder space |
| HourSlotEncoder |
142.60M |
60 minutes → 1 hour slot |
| HistoryEncoder |
141.86M |
30-day × 3 slots |
| QueryRefiner |
97.65M |
today vs history cross-attn |
| VitalGuard |
12.01M |
HR residual + trend + context |
| OutputHeads |
1.58M |
anomaly + reason + confidence |
2.2 배포 분리
| Resident |
Params |
Latency 영향 |
| Phone (ONNX) |
0.22M |
1 patch / 10s → 무시 가능 |
| Jetson |
444.44M |
full pipeline / 1 minute |
| Total |
444.66M |
— |
설계도 §4.2 목표 250-370M 대비 120% 달성 (444M)
3. 학습 데이터
3.1 사용 데이터셋
| Dataset |
Subjects |
Duration |
용도 |
| CAPTURE-24 (Oxford) |
151명 |
24h/subject, wrist 100Hz |
Stage 1-2 raw acc |
| ArWISE V3 (CASAS) |
10명 |
9-10일/subject (총 76일) |
Stage 1 보조 + Stage 3-5 분포 |
| PPG-DaLiA (UCI) |
15명 |
2.5h, wrist BVP+ACC |
Stage 6 HR |
| WESAD (Schmidt 2018) |
15명 |
1.7h, wrist+chest |
Stage 6 HR |
| MHEALTH (UCI) |
10명 |
53분, 50Hz 23ch |
Stage 6 HR |
| HAR-70+ (UCI, 테스트만) |
18명 70-95세 |
40분/subject |
OOD generalization 검증 |
3.2 전처리
- CAPTURE-24: CSV.gz → 25Hz npz (151 subjects × 평균 2.5M samples)
- ArWISE V3: CSV → 10Hz raw acc + 1-min features (12-dim) npz (10 subjects × 11k minutes)
- PPG-DaLiA/WESAD: pickle → 1Hz BVP + ACC magnitude npz (빠른 로딩)
3.3 데이터 다양성
- 109,520 minutes (= 76일치) ArWISE V3 진짜 데이터
- 151 subjects × 24h CAPTURE-24 wrist 데이터
- 40 vital subjects (Stage 6)
4. 학습 (6 Stage Pretraining)
4.1 Stage별 학습 방식
| Stage |
목표 |
학습 데이터 |
Loss |
Epoch |
| 1 |
PatchEncoder |
CAPTURE-24 + ArWISE V3 raw |
reconstruction MSE |
15 |
| 2 |
MinuteEncoder + Adapter |
CAPTURE-24 minute mode |
recon + InfoNCE + alignment |
40 |
| 3 |
HourSlotEncoder |
ArWISE features 분포 |
slot_context + cross_day |
30 |
| 4 |
History + QueryRefiner |
ArWISE replay |
day_order + neighbor_slot |
35 |
| 5 |
Full model + anomaly |
ArWISE replay + synthetic inject |
anomaly_bce + reason_bce + conf_mse |
best@1 (val split) |
| 6 |
VitalGuard |
PPG-DaLiA + WESAD + MHEALTH |
hr_residual + hr_trend + hr_context |
60 |
4.2 Multi-GPU 활용 (4090 × 3)
- Stage 1, 2, 3, 4:
nn.DataParallel (CUDA_VISIBLE_DEVICES=0,1,2)
- Stage 3 학습 시 GPU 0/1/2 모두 80-91% 활용 검증
- Stage 5: full model 너무 커서 single GPU (batch_size=4, 21GB/24GB)
4.3 Stage 5 — Train/Val Split + Class-Balanced Reason Loss ★ (v7)
| Configuration |
Value |
| Train/Val Split |
80/20 (random_split, seed=42) |
| Train samples |
3,277 |
| Val samples |
819 |
| Max epochs |
100 |
| Patience |
10 (val loss plateau) |
| Reason class weights |
[1, 1, 1, 3] (activity_drop ×3) |
| Best checkpoint (v7) |
epoch 19, val_loss = 0.0887 |
| Early stop |
epoch 29 |
버전별 비교 (3회 재학습):
| 버전 |
데이터 풀 |
reason BCE |
best val |
best anom |
best reason |
안정 epoch |
| v5b |
v3만 |
균등 |
0.2814 |
0.000 |
0.281 |
1 (collapse) |
| v6 |
+ WEDA-FALL |
균등 |
0.7025 |
0.375 |
0.321 |
14 |
| v7 |
+ WEDA-FALL |
activity_drop ×3 |
0.0887 |
0.000 |
0.089 |
29 |
v7 Loss 추이 (핵심):
epoch=4 val=0.333 anom=0.001 reason=0.331 ✓ first drop
epoch=8 val=0.092 anom=0.000 reason=0.092 ← v5b 수준 도달
epoch=19 val=0.0887 anom=0.000 reason=0.089 ✓ best
epoch=29 early stop (patience=10)
4.4 Stage 6 — VitalGuard (60 epochs 완주)
- v4: final 0.0039 / v6: 0.0032 / v7: 0.0042
- v7 단일 GPU 격리 학습으로 effective batch 축소 → 미세 상승. 운영 임계값(0.005) 아래 유지
5. 성능 평가
5.1 HAR-70+ OOD AUC (실제 cross-population OOD)
검증 조건:
- HAR-70+ 18 subjects, 70-95세 → 745분 1-min features (50Hz CSV → 12-d 변환)
- ArWISE 정상 history + HAR-70+ today (
B, 3, 60, 12 cyclic fill)
- n_eval=200, seed=12345
3-버전 비교 (학습 풀에 HAR-70+ 미포함, 순수 OOD):
| 메트릭 |
v5b |
v6 |
v7 |
| HAR-70+ AUC |
0.1375 |
1.0000 |
0.9982 |
| HAR-70+ AP |
0.4226 |
1.0000 |
0.9981 |
| ID score (mean) |
0.0004 |
0.2954 |
0.0000 |
| OOD score (mean) |
0.0004 |
0.9449 |
0.1556 |
| Separation |
−0.0000 |
+0.6494 |
+0.1556 |
해석:
- v5b: AUC 0.137 (무작위보다 못함) — epoch 1 메모이즈 후 collapse로 모든 입력에 동일 값 출력
- v6: AUC 1.000 (완벽) — 단 ID 점수가 0.30이라 임계값 설정 어려움
- v7: AUC 0.998 — ID=0.0으로 false positive 0, threshold 0.05만 잡아도 OOD 95%+ 검출. 운영 적합도 최우수
5.2 합성 anomaly injection AUC (학습 분포 내 검증)
| 메트릭 |
v5b |
v6 |
| anomaly AUC |
1.0000 |
0.8647 |
| anomaly AP |
1.0000 |
0.8725 |
| reason: walk_missing |
0.8130 |
0.6842 |
| reason: prolonged_inactivity |
0.9028 |
0.8616 |
| reason: routine_time_shift |
0.8031 |
0.6845 |
| reason: activity_drop ★ |
0.7955 |
0.4896 (regression) |
v5b는 합성 injection 패턴을 메모이즈해서 1.0 — 그러나 같은 모델이 실제 HAR-70+에서 0.14로 collapse. 합성 AUC와 실제 OOD AUC가 정반대 신호를 주는 사례.
5.2 Inference Latency
| Path |
Hardware |
Latency |
Notes |
| PatchEncoder (Phone) |
CPU (ONNXRuntime) |
< 5 ms |
1 patch (250 samples × 3 axes) |
| Full forward_replay |
RTX 4090 (bf16) |
448 ms |
B=2, 444M params, 90 history + 3 today |
| VitalGuard forward |
RTX 4090 |
< 50 ms |
B=2, 12M params |
5.3 Cross-Generalization 검증 (v7)
| 차원 |
Train |
Test |
결과 |
| Subject |
CAPTURE-24 151명 + ArWISE V3 10명 + WEDA-FALL 11명 |
HAR-70+ 18명 (별도) |
✅ AUC 0.998 |
| Sensor 위치 |
wrist (CAPTURE-24) + iPhone (ArWISE V3) |
back accelerometer (HAR-70+) |
✅ 작동 |
| Sampling rate |
25Hz (CAPTURE-24) / 10Hz (V3) |
50Hz (HAR-70+) |
✅ 작동 |
| Population |
general adults |
elderly 70-95 |
✅ 목표 인구 검증 |
| Fall 데이터 |
WEDA-FALL 11명 inject (학습) |
HAR-70+ activities |
✅ 일반화 |
5.4 ONNX 추출 (v7 기준)
| 모듈 |
크기 |
배포 위치 |
| patch_encoder.onnx |
0.86 MB |
Phone |
| minute_encoder.onnx |
187.8 MB |
Jetson |
| feature_adapter.onnx |
2.6 MB |
Jetson |
| hourslot_encoder.onnx |
557.6 MB |
Jetson |
| history_encoder.onnx |
554.4 MB |
Jetson |
| vitalguard.onnx |
47.0 MB |
Jetson |
| output_heads.onnx |
6.2 MB |
Jetson |
| 합계 |
1.36 GB |
|
QueryRefiner는 cross-attention 동적 shape 문제로 PyTorch 그래프로만 실행 (ONNX 제외).
6. 시스템 검증
6.1 Pipeline 통합 시연 (v7)
| 단계 |
결과 |
| 6 stage ckpt 로드 |
✅ v7 Stage 5 (1.78GB) + Stage 6 (46MB) merge |
| EdgePipeline + RAG 통합 |
✅ run_demo.py JSON alert 출력 (severity/reason/time_range) |
| Phone ONNX |
✅ 860KB, opset 17, dynamic batch |
| Jetson ONNX |
✅ 6 모듈 1.36GB 총합 (minute+adapter+hourslot+history+vitalguard+heads) |
| RAG replay DB |
✅ 7.6GB / 18+ scenarios × 720 history slots |
| pytest |
68/69 통과 (1 fail = 30-day integration smoke, 600s 타임아웃 — 기능적 통과) |
6.2 산출물
7. 한계와 향후 작업
7.1 현재 한계 (정직)
- 합성 + WEDA-FALL 만으로 학습 — 한국 노인의 실제 일상 collect 데이터 미사용 (캡스톤 다음 phase)
- VitalGuard ground-truth HR 평가 안 함 — forward 통과만 검증
- 30-day 연속 데이터 없음 — ArWISE V3가 9일/subject. Replay는 random sampling 합성
- Jetson 실측 latency 미측정 — RTX 4090 bf16 기준 448ms만 측정
7.2 v7 해결 성과
- ✅ activity_drop reason regression: pos_weight=3.0으로 회복
- ✅ v5b의 epoch 1 collapse 패턴 봉쇄: 안정 29 epoch
- ✅ HAR-70+ AUC v5b 0.137 → v7 0.998 (실제 OOD에서 7배 개선)
- ✅ Calibration: v6 ID=0.295 → v7 ID=0.000 (false positive 0)
7.3 향후
- 직접 수집 데이터 (Galaxy Watch 24h IMU) 50명 → fine-tune
- Jetson Orin Nano 실측 latency 벤치 (1.36 GB ONNX)
- Dryad ArWISE 71GB cohort 접근 (OAuth 막힘 상태)
8. 핵심 기여
- 4-Tier hierarchical anomaly detector — patch → minute → slot → history 계층
- NeurIPS-26 SISA backbone — SSM + Softmax attention 융합 (444M 모델)
- Edge-only 배포 — Phone (0.22M ONNX) + Jetson (444M) 분리
- Train/val split + early stopping — Overfitting 방지 검증
- Cross-dataset/sensor generalization — CAPTURE-24/ArWISE → HAR-70+ (OOD AUC 0.987)
- Real elderly population 검증 — HAR-70+ 70-95세에서 작동 확인
9. 발표 핵심 메시지 (v7)
"444M 파라미터 4-tier 모델 v7로 학습 안 한 노인 데이터(70-95세, HAR-70+ 18 subjects)에서 OOD AUC 0.998 anomaly detection 검증.
3차 재학습(v5b → v6 → v7)으로 class-balanced reason loss + WEDA-FALL fall events 통합, v5b의 메모이즈+collapse (HAR-70+ AUC 0.137) 문제를 v7에서 calibration 0인 ID score로 해결.
Phone 0.86 MB ONNX + Jetson 1.36 GB 6모듈 ONNX 분리 배포로 edge-only inference 가능 (full forward 448ms, batch 2)."
Appendix A — 실험 환경
- GPU: RTX 4090 × 3 (각 24GB)
- PyTorch 2.5.1 + CUDA 12.4 + bf16 autocast
- Docker:
sisa-routineguard:latest (Python 3.11)
Appendix B — Reproducibility
- 모든 random seed 명시 (split=42, anomaly=42)
- ckpt + normalizer + config 모두 HF에 공개
- 코드 + tests + scripts GitHub 공개 (private, 협업자 access)
Appendix C — Reference
- Plan v1.4 (
설계도/계획.md)
- Design Spec v1.3.9 (
설계도/설계도.md)
- RAG Spec v1.0.8 (
설계도/rag설계도.md)
- CAPTURE-24: Walmsley 2021 (DOI 10.5287/bodleian:NGx0JOMP5)
- WESAD: Schmidt 2018, ICMI'18
- ArWISE V3: CASAS Diane Cook (Zenodo 15803341)
