Building profile model... Device: cuda Batch: 256, Dim: 256, Anchors: 256, Comp: 8×64 Parameters: 4,334,244 ================================================================================ SECTION 1: FORWARD PASS COMPONENTS ================================================================================ ================================================================================ SECTION 2: INDIVIDUAL LOSS TERMS (forward only) ================================================================================ ================================================================================ SECTION 3: CV LOSS — OLD SEQUENTIAL vs BATCHED ================================================================================ ================================================================================ SECTION 4: BACKWARD COSTS (forward + backward) ================================================================================ ================================================================================ FULL TIMING REPORT (sorted by cost) ================================================================================ CV metric OLD n=200 117.339ms ████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 17.3% CV OLD n=200 117.218ms ████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 17.3% CV OLD n=128 75.116ms █████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 11.1% fwd+bwd NCE_pw 71.622ms █████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 10.5% fwd+bwd NCE_emb 70.474ms █████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 10.4% fwd+bwd CV old 48.412ms ███░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 7.1% CV OLD n=64 36.944ms ██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 5.4% fwd+bwd CE 35.398ms ██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 5.2% fwd+bwd Bridge 35.372ms ██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 5.2% FULL forward (both views) 22.355ms █░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3.3% CV OLD n=32 20.031ms █░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2.9% fwd+bwd CV batch 11.265ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 1.7% encoder(v1) 10.891ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 1.6% patchwork(tri) 1.022ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.2% CV BATCH n=128 0.847ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% CV metric BATCH n=200 0.830ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% CV BATCH n=32 0.818ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% CV BATCH n=200 0.814ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% CV BATCH n=64 0.811ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% Spread (A×A + relu) 0.365ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% NCE_pw (norm + B×B + CE) 0.245ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% task_head(feat) 0.243ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% NCE_tri (norm + B×B + CE) 0.240ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% kNN (B×B + argmax) 0.170ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% Assign BCE 0.139ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% NCE_assign (B×B + CE) 0.102ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% NCE_emb (B×B + CE) 0.099ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% Bridge (soft CE) 0.082ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% Attraction (max + mean) 0.068ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% bridge(pw) 0.058ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% triangulation (emb@A.T) 0.040ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% soft_assign (softmax) 0.037ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% CE (cross_entropy) 0.033ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% ────────────────────────────────────────────────────────────────────────────────────────── SUM 679.501ms ================================================================================ CV SPEEDUP SUMMARY ================================================================================ n= 128: 75.12ms → 0.85ms (88.6x speedup) n= 200: 117.34ms → 0.83ms (141.3x speedup) n= 32: 20.03ms → 0.82ms (24.5x speedup) n= 64: 36.94ms → 0.81ms (45.6x speedup) ================================================================================ PER-STEP ESTIMATE ================================================================================ Forward (both views): 22.35ms fwd+bwd CE: 35.40ms fwd+bwd CV (old): 48.41ms fwd+bwd CV (batched): 11.26ms CV savings per step: 37.15ms (77%) ================================================================================ PROFILING COMPLETE ================================================================================