| # Proprietes emergentes de Fractus — Chirurgie in-training et composition de checkpoints |
|
|
| **Mis a jour:** 2026-08-17 00:26 UTC |
|
|
| Decouvert en production en corrigeant Fractus pendant l entrainement. |
|
|
| ## 1. Chirurgie in-training |
| On peut modifier Fractus **pendant** l entrainement sans jeter les poids: |
| - debloquer Kuramoto, brancher le load-balance, changer la temperature des gates |
| - passer en CE dense, scheduled sampling, recalibrer le LR |
| - reprendre au **meme offset de tokens** |
|
|
| Regle: garder le .pt, patcher le corps, reload, resume, documenter. |
|
|
| ## 2. Plusieurs .pt en parallele puis fusion |
| On peut entrainer plein de .pt differents (4 GPU / 4 shards) puis les **mean-merge** en un seul Fractus unifie, puis continuer. |
|
|
| ## 3. Fusionner un Fractus deja entraine avec d autres .pt |
| Boucle: train -> merge -> train -> merge ... |
| Le cerveau s accumule; on ne repart pas de zero. |
| Deux sens de grossir: |
| - **composition** (merge de poids meme architecture) — prouve sur ce run |
| - **croissance structurelle** (paliers, experts, profondeur) — design Fractus |
|
|
| ## Limites |
| Memes shapes obligatoires. Merge trop divergent peut diluer. La gen libre n est pas encore au niveau de la loss teacher-forced. |
|
|
| Voir aussi: docs/COMPOSABILITY_AND_SURGERY.md (version anglaise complete). |
|
|
