PowerMachine

/

khtst-multimodal-ptbr

Like 0

KHTST v17 KHMAMBAJEPA — MoE QUANTIZADO por indexador/floresta (Teos 29.1–29.4: stack fora do contrato de subclasses resolvido, equivalência EXATA por independência de linha da GEMM, floresta B=2≡B=1 bit-exata; torchao+MoE-pack 237 camadas+2 MoEs 3.92× Δperda −0.0001); perda TCE ALTA corrigida (Teos 29.5–29.9: normalização dimensional exata ∇L/d, limiar de sucesso invariante de escala, λ_jepa pela razão PONDERADA no RM — jepa/perda 24.96→1.12, taxa 0.0→0.075, razão de ganho 0.716→0.789, held-out em paridade 6.586 vs 6.559); SonicMoE + Token Rounding em Cython (Teos 29.10–29.11, GEMM estofado bit-exato, τ* por medição); AUDITORIA DE MEMÓRIA em tempo real I1–I4 (Teo 29.12, statm nível C — verdes no passo 100 real); ReplaySSM (Teos 29.13–29.14: saída/gradiente BIT-EXATOS, ativação 113→31 KB); vocab 16384 alinhado (tokenizador retreinado); jepa_validator.pyx aprimorado (API preservada + auditoria + rounding); venv otimizado (00_bootstrap_venv.sh); suíte v17 34✓, verificar_tudo 49✓, regressão v1–v16 completa; SEM estados de treino (requisito)