model card: v3 (+real text) eval 0.269

README.md

@@ -54,26 +54,29 @@ Agrupe as tags BIOES (B/I/E/S por ato) em spans `(start, end, ato)`.
   DeepSeek, com balanceamento por ato.
 - LoRA nos módulos de atenção (`query`/`value`) + cabeça `classifier`. O adapter foi
   **mesclado** (`merge_and_unload`) e exportado pra **ONNX int8** (roda no navegador).
-- **v2 (atual): loss com class-weights** (inverse-frequency). Desbalanço — não domínio — era o
-  gargalo: a loss ponderada tira os atos raros do zero sem precisar de mais dado.
+- **class-weights** (inverse-frequency loss): desbalanço — não domínio — era o gargalo; a loss
+  ponderada tira os atos raros do zero sem precisar de mais dado.
+- **v3 (atual): + texto real.** Além do sintético, treina com **~500 anotações de texto dialógico
+  real** (entrevistas Roda Viva/FAPESP, anotadas por um teacher e revisadas) — texto real fecha o
+  gap de transferência que o sintético sozinho não fecha.
 
 ## Avaliação (honesta)
 Eval **sentence-level** no Porttinari (notícias; da Silva et al., PROPOR 2024), **zero-shot**
-(o modelo treinou em sintético, não no Porttinari):
+(o modelo não treinou no Porttinari):
 
-| Métrica | v1 (sem pesos) | **v2 (class-weights)** |
-|---|---|---|
-| macro-F1 (13 atos) | 0,201 | **0,233** |
-| macro-F1 (coarse, Searle) | 0,407 | **0,428** |
-| accuracy | 0,827 | 0,834 |
+| Métrica | v1 | v2 (class-weights) | **v3 (+ texto real)** |
+|---|---|---|---|
+| macro-F1 (13 atos) | 0,201 | 0,233 | **0,269** |
+| accuracy | 0,827 | 0,834 | **0,862** |
 
-A v2 é melhora Pareto: `perguntar` 0,62→0,71, `informar` ~0,91 estável, e atos raros saem do
-zero (desculpar 0,25 · concordar 0,20 · discordar/expressar 0,15 · agradecer/sugerir 0,13 …).
-Referência: o BERTimbau do paper, treinado **in-domain** no Porttinari, faz 0,295 macro-F1.
+Cada passo é melhora Pareto. `perguntar` 0,62 → **0,80** (o texto real de entrevista ajudou),
+`informar` ~0,93. Referência: o BERTimbau do paper, treinado **in-domain** no Porttinari, faz
+**0,295** macro-F1 — a v3 chega a ~91% disso **sendo zero-shot**.
 
-- **Caveat:** Porttinari é notícia → mede bem `informar`/`perguntar`, mas tem pouquíssimos
-  exemplos dos atos sociais (`oferecer`/`despedir` seguem ~0 por falta de positivos no teste).
-  Span-F1 exato ≈ 0 por granularidade (gold de frase vs spans).
+**Caveat de avaliação:** Porttinari é notícia → mede bem `informar`/`perguntar`, é cego aos atos
+sociais/comissivos (poucos/zero exemplos). Adicionar texto muito fora-de-domínio (ex: reviews) pode
+até **piorar** esse número sem ser pior no geral — falta um eval multi-domínio (em construção via
+coleta humana).
 
 ## Limitações
 - Texto de treino **sintético** (sabor "LLM"), carrega o **viés do teacher**.