GoLLeM-v5 — modele (backup lokalny)
Backup ckptów treningowych GoLLeM-v5 (scan tokenów 16M). Źródło: RunPod RTX 5090.
Redundancja: pod (oryginał) + HF SlayerLab/minimal-en-corpus-5b:ckpts/ (durable) + ten katalog (lokalny).
Modele (scan tokenów, single-factor, BPE-12k, L6/d408/h6, block1024, batch64, AdamW lr6e-4→6e-5, seed1337)
| plik | tokeny | epoki | BLiMP | ARC-Easy | WikiText-2 BPB | board-pozycja |
|---|---|---|---|---|---|---|
| run_bpe16m_c_ckpt.pt | 3.2B | 1.19 | 71.54 | 39.39 | 1.2161 | #16/74 |
| run_bpe16m_6b_d_ckpt.pt | 6B | 2.2 | 73.29 | 41.04 | 1.1943 | #11/74 |
| run_bpe16m_10b_e_ckpt.pt | 10B | 3.7 | 73.43 | 41.67 | 1.1815 | (liczy Latarnik) |
Wniosek scanu: BLiMP saturuje ~6B na 16M (Δ6→10=+0.14); ARC dalej rośnie @10B (knee>10B); BPB monotoniczny.
tokenizer.json— BPE-12k (vocab 12288), ZALOCKOWANY (werdykt 3/3 vs byte-baseline: BLiMP+2σ ∧ BPB-Δ0.238 ∧ board-#16). Wspólny dla wszystkich modeli v5.- Config eval:
byte_lm_eval_bpe.py --tokenizer tokenizer.json --ckpt <model> --tasks wikitext,blimp,arc_easy --n-head 6. - Korpus treningowy:
SlayerLab/minimal-en-corpus-5b(2.70B unique BPE-tok, FineWeb-Edu, ARC-targeted, decontam'd).
Kolejne (dojdą po treningu)
- 32M-baseline (L6/d576/h9, izolacja-rozmiaru) + lewary single-factor (RoPE/low-rank/Muon/depth).
- 150M flagowiec (+KARD-distill z Qwena).
Prowieniencja pełna: labvault 21_09_GoLLeM-v5-Skalowanie-Glint/ (Stan.md + artifacts + S2-Wnioski).
Data backupu: 2026-09-22.