README.md

# GoLLeM-v5 — modele (backup lokalny)

Backup ckptów treningowych GoLLeM-v5 (scan tokenów 16M). Źródło: RunPod RTX 5090.
Redundancja: pod (oryginał) + HF `SlayerLab/minimal-en-corpus-5b:ckpts/` (durable) + ten katalog (lokalny).

## Modele (scan tokenów, single-factor, BPE-12k, L6/d408/h6, block1024, batch64, AdamW lr6e-4→6e-5, seed1337)

| plik | tokeny | epoki | BLiMP | ARC-Easy | WikiText-2 BPB | board-pozycja |
|------|--------|-------|-------|----------|----------------|---------------|
| run_bpe16m_c_ckpt.pt    | 3.2B | 1.19 | 71.54 | 39.39 | 1.2161 | #16/74 |
| run_bpe16m_6b_d_ckpt.pt | 6B   | 2.2  | 73.29 | 41.04 | 1.1943 | #11/74 |
| run_bpe16m_10b_e_ckpt.pt| 10B  | 3.7  | 73.43 | 41.67 | 1.1815 | (liczy Latarnik) |

**Wniosek scanu:** BLiMP saturuje ~6B na 16M (Δ6→10=+0.14); ARC dalej rośnie @10B (knee>10B); BPB monotoniczny.

- `tokenizer.json` — BPE-12k (vocab 12288), ZALOCKOWANY (werdykt 3/3 vs byte-baseline: BLiMP+2σ ∧ BPB-Δ0.238 ∧ board-#16). Wspólny dla wszystkich modeli v5.
- Config eval: `byte_lm_eval_bpe.py --tokenizer tokenizer.json --ckpt <model> --tasks wikitext,blimp,arc_easy --n-head 6`.
- Korpus treningowy: `SlayerLab/minimal-en-corpus-5b` (2.70B unique BPE-tok, FineWeb-Edu, ARC-targeted, decontam'd).

## Kolejne (dojdą po treningu)
- 32M-baseline (L6/d576/h9, izolacja-rozmiaru) + lewary single-factor (RoPE/low-rank/Muon/depth).
- 150M flagowiec (+KARD-distill z Qwena).

Prowieniencja pełna: labvault `21_09_GoLLeM-v5-Skalowanie-Glint/` (Stan.md + artifacts + S2-Wnioski).
Data backupu: 2026-09-22.