File size: 1,274 Bytes
b6643e9 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | # Proprietes emergentes de Fractus — Chirurgie in-training et composition de checkpoints
**Mis a jour:** 2026-08-17 00:26 UTC
Decouvert en production en corrigeant Fractus pendant l entrainement.
## 1. Chirurgie in-training
On peut modifier Fractus **pendant** l entrainement sans jeter les poids:
- debloquer Kuramoto, brancher le load-balance, changer la temperature des gates
- passer en CE dense, scheduled sampling, recalibrer le LR
- reprendre au **meme offset de tokens**
Regle: garder le .pt, patcher le corps, reload, resume, documenter.
## 2. Plusieurs .pt en parallele puis fusion
On peut entrainer plein de .pt differents (4 GPU / 4 shards) puis les **mean-merge** en un seul Fractus unifie, puis continuer.
## 3. Fusionner un Fractus deja entraine avec d autres .pt
Boucle: train -> merge -> train -> merge ...
Le cerveau s accumule; on ne repart pas de zero.
Deux sens de grossir:
- **composition** (merge de poids meme architecture) — prouve sur ce run
- **croissance structurelle** (paliers, experts, profondeur) — design Fractus
## Limites
Memes shapes obligatoires. Merge trop divergent peut diluer. La gen libre n est pas encore au niveau de la loss teacher-forced.
Voir aussi: docs/COMPOSABILITY_AND_SURGERY.md (version anglaise complete).
|