model card: v2 class-weights eval results

README.md

@@ -52,20 +52,34 @@ Agrupe as tags BIOES (B/I/E/S por ato) em spans `(start, end, ato)`.
 ## Treino
 - ~5.000 exemplos sintéticos (frases PT-BR + anotação span-level) gerados por um teacher
   DeepSeek, com balanceamento por ato.
-- LoRA nos módulos de atenção (`query`/`value`) + cabeça `classifier`; fp16; loss ≈ 0,30.
-  O adapter foi **mesclado** (`merge_and_unload`) neste modelo final.
+- LoRA nos módulos de atenção (`query`/`value`) + cabeça `classifier`. O adapter foi
+  **mesclado** (`merge_and_unload`) e exportado pra **ONNX int8** (roda no navegador).
+- **v2 (atual): loss com class-weights** (inverse-frequency). Desbalanço — não domínio — era o
+  gargalo: a loss ponderada tira os atos raros do zero sem precisar de mais dado.
 
 ## Avaliação (honesta)
-Eval **sentence-level** no Porttinari (notícias; da Silva et al., PROPOR 2024), ato dominante:
-- accuracy ≈ **0,83** · *lenient hit-rate* ≈ **0,94** (coarse, macro-classes).
-- **Caveat:** Porttinari é notícia → mede bem `informar`/`perguntar`, mas é praticamente
-  **cego** aos 11 atos sociais/diretivos/comissivos. Span-F1 exato ≈ 0 por granularidade
-  (gold de frase vs spans). Qualitativamente acerta atos sociais e pedidos indiretos.
+Eval **sentence-level** no Porttinari (notícias; da Silva et al., PROPOR 2024), **zero-shot**
+(o modelo treinou em sintético, não no Porttinari):
+
+| Métrica | v1 (sem pesos) | **v2 (class-weights)** |
+|---|---|---|
+| macro-F1 (13 atos) | 0,201 | **0,233** |
+| macro-F1 (coarse, Searle) | 0,407 | **0,428** |
+| accuracy | 0,827 | 0,834 |
+
+A v2 é melhora Pareto: `perguntar` 0,62→0,71, `informar` ~0,91 estável, e atos raros saem do
+zero (desculpar 0,25 · concordar 0,20 · discordar/expressar 0,15 · agradecer/sugerir 0,13 …).
+Referência: o BERTimbau do paper, treinado **in-domain** no Porttinari, faz 0,295 macro-F1.
+
+- **Caveat:** Porttinari é notícia → mede bem `informar`/`perguntar`, mas tem pouquíssimos
+  exemplos dos atos sociais (`oferecer`/`despedir` seguem ~0 por falta de positivos no teste).
+  Span-F1 exato ≈ 0 por granularidade (gold de frase vs spans).
 
 ## Limitações
-- v1: texto de treino **sintético** (sabor "LLM"), carrega o **viés do teacher**.
+- Texto de treino **sintético** (sabor "LLM"), carrega o **viés do teacher**.
 - Fronteiras de span podem errar por alguns caracteres.
-- Falta gold humano conversacional — sendo coletado no jogo aberto para treinar o v2.
+- Falta gold humano conversacional — sendo coletado no jogo aberto
+  ([atos-de-fala.vercel.app](https://atos-de-fala.vercel.app)) para treinar versões futuras.
 
 ## Licença e contato
 MIT (respeite a licença do modelo base, BERTimbau). Base teórica: pragmática — atos de fala (Searle) + ISO 24617-2.