File size: 2,958 Bytes
185a364 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 | # Fractus — journal d’évolution (horodaté)
Chronologie du **système**, pas de la mythologie.
Repos : `thefinalboss/fractus-cte`, `fractus-p0`, `fractus-vorax`, `fractus-datasets`.
Dernière mise à jour : **2026-08-27**.
Les comptes de tokens sont des **snapshots de manifeste**, pas l’horloge live du pod.
---
## 2026-04 — graine
- Ligne mathématique K3 / CM (séparée).
- Idée Fractus : la pensée est continue, accumulante, oscillatoire — pas un seul forward.
## 2026-07 — architectures en parallèle
- CTE : attention linéaire + Kuramoto + MoE phasé, multi-blocs.
- Palimpseste-max : mémoire hypervectorielle append-only, CPU, HF.
- Vorax (conception) : cerveau CTE scellé + organes qui **écrivent** (`.kn`) sans réentraîner le 1B.
## 2026-08-12 — doctrine d’entraînement
- Note Chinchilla : pas d’empilement d’epochs « parce que le papier le dit ». Une passe réelle + ingest Vorax.
## 2026-08-13 → 15 — premier burn 4×5090
- ~1k tok/s/GPU.
- Loss qui descend dans les 30.
- Découvertes : collapse mono-token, train ≠ gen length-1, chirurgie mid-train, mean-merge same-shape.
- Space HF : échecs torch / `audioop` / Gradio sur CPython 3.13.
## 2026-08-16 — panne
- Incident pod. Reprise sur le dernier `.pt` HF, pas à 0.
- Recette 8 GPU.
## 2026-08-17 → 18 — phase 2, freeze, Vorax
- Shards npy depuis `fractus-datasets`.
- Freeze ≈ **15–17M tokens/GPU** sur shards ~430M (~**4 %** de cette passe).
- Vorax repo : compiler, traces, Hebbian, spawn.
## 2026-08-19 — goulot Kuramoto
- Arc de routing ~25°/360°, \(r \approx 0.01\), experts morts.
- Pas « attendre les tokens ». Température de gate, échelle \(\omega\), LB vraie.
- Doc mini-CPU : un petit Fractus ≠ progrès 1B ; merge mini→1B invalide.
## 2026-08-21 — mauvais cluster
- Mix 3090 / A4000 / 5060 Ti / A2000 12GB. 12GB ne tient pas le 1B B=2.
- Pas d’offre 8× sur QuickPod à ce moment. Crédit laissé ; attendre du 24GB+ identique.
## 2026-08-22 → 26 — cœur ouvert + x8
- Attention chunked / cumsum, CE chunkée, `BLOCK_CKPT`, ckpt atomiques.
- White paper v2 + `arxiv/main.tex`.
- X8_MANIFEST : ~**35M tokens/GPU**, status `x8_running`.
## 2026-08-27 — P0, v4, DiffusionBlocks, lignée nommée
- Repo `fractus-p0` : routing P0, trainer v4, PREFIX vs CARRY mesuré, DiffusionBlocks natif (expérience).
- Phrase officielle : Fractus = **RNN d’attention linéaire**, pas un transformer.
- Ouvert : decay sur \(S\), DDP vs merge MoE, MI(\(\bar\theta\), token) vs tick, PPL apparié, split d’éval par source.
---
## Ce que l’évolution n’est pas
- Pas un AGI livré.
- Pas 4,2B tokens digérés.
- Pas « merge = 8× plus malin ».
- Pas « Kuramoto réglé ».
## Suite ops
x4 24GB+ homogène > attendre un x8 fantôme.
Resume manifeste. Corps P0+v4. Gate PREFIX unique@40.
Vorax pour le savoir. Baseline transformer sur held-out propre avant tout papier d’ampleur.
|