| Building profile model... |
| Device: cuda |
| Batch: 256, Dim: 256, Anchors: 256, Comp: 8×64 |
| Parameters: 4,334,244 |
|
|
| ================================================================================ |
| SECTION 1: FORWARD PASS COMPONENTS |
| ================================================================================ |
|
|
|
|
| ================================================================================ |
| SECTION 2: INDIVIDUAL LOSS TERMS (forward only) |
| ================================================================================ |
|
|
|
|
| ================================================================================ |
| SECTION 3: CV LOSS — OLD SEQUENTIAL vs BATCHED |
| ================================================================================ |
|
|
|
|
| ================================================================================ |
| SECTION 4: BACKWARD COSTS (forward + backward) |
| ================================================================================ |
|
|
|
|
|
|
| ================================================================================ |
| FULL TIMING REPORT (sorted by cost) |
| ================================================================================ |
|
|
| CV metric OLD n=200 117.339ms ████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 17.3% |
| CV OLD n=200 117.218ms ████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 17.3% |
| CV OLD n=128 75.116ms █████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 11.1% |
| fwd+bwd NCE_pw 71.622ms █████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 10.5% |
| fwd+bwd NCE_emb 70.474ms █████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 10.4% |
| fwd+bwd CV old 48.412ms ███░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 7.1% |
| CV OLD n=64 36.944ms ██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 5.4% |
| fwd+bwd CE 35.398ms ██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 5.2% |
| fwd+bwd Bridge 35.372ms ██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 5.2% |
| FULL forward (both views) 22.355ms █░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 3.3% |
| CV OLD n=32 20.031ms █░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 2.9% |
| fwd+bwd CV batch 11.265ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 1.7% |
| encoder(v1) 10.891ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 1.6% |
| patchwork(tri) 1.022ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.2% |
| CV BATCH n=128 0.847ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% |
| CV metric BATCH n=200 0.830ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% |
| CV BATCH n=32 0.818ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% |
| CV BATCH n=200 0.814ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% |
| CV BATCH n=64 0.811ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% |
| Spread (A×A + relu) 0.365ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.1% |
| NCE_pw (norm + B×B + CE) 0.245ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| task_head(feat) 0.243ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| NCE_tri (norm + B×B + CE) 0.240ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| kNN (B×B + argmax) 0.170ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| Assign BCE 0.139ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| NCE_assign (B×B + CE) 0.102ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| NCE_emb (B×B + CE) 0.099ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| Bridge (soft CE) 0.082ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| Attraction (max + mean) 0.068ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| bridge(pw) 0.058ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| triangulation (emb@A.T) 0.040ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| soft_assign (softmax) 0.037ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| CE (cross_entropy) 0.033ms ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ 0.0% |
| ────────────────────────────────────────────────────────────────────────────────────────── |
| SUM 679.501ms |
|
|
| ================================================================================ |
| CV SPEEDUP SUMMARY |
| ================================================================================ |
| n= 128: 75.12ms → 0.85ms (88.6x speedup) |
| n= 200: 117.34ms → 0.83ms (141.3x speedup) |
| n= 32: 20.03ms → 0.82ms (24.5x speedup) |
| n= 64: 36.94ms → 0.81ms (45.6x speedup) |
|
|
| ================================================================================ |
| PER-STEP ESTIMATE |
| ================================================================================ |
| Forward (both views): 22.35ms |
| fwd+bwd CE: 35.40ms |
| fwd+bwd CV (old): 48.41ms |
| fwd+bwd CV (batched): 11.26ms |
| CV savings per step: 37.15ms (77%) |
|
|
| ================================================================================ |
| PROFILING COMPLETE |
| ================================================================================ |
