Upload docs/COMPOSABILITE_ET_CHIRURGIE.md with huggingface_hub
Browse files
docs/COMPOSABILITE_ET_CHIRURGIE.md
ADDED
|
@@ -0,0 +1,28 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Proprietes emergentes de Fractus — Chirurgie in-training et composition de checkpoints
|
| 2 |
+
|
| 3 |
+
**Mis a jour:** 2026-08-17 00:26 UTC
|
| 4 |
+
|
| 5 |
+
Decouvert en production en corrigeant Fractus pendant l entrainement.
|
| 6 |
+
|
| 7 |
+
## 1. Chirurgie in-training
|
| 8 |
+
On peut modifier Fractus **pendant** l entrainement sans jeter les poids:
|
| 9 |
+
- debloquer Kuramoto, brancher le load-balance, changer la temperature des gates
|
| 10 |
+
- passer en CE dense, scheduled sampling, recalibrer le LR
|
| 11 |
+
- reprendre au **meme offset de tokens**
|
| 12 |
+
|
| 13 |
+
Regle: garder le .pt, patcher le corps, reload, resume, documenter.
|
| 14 |
+
|
| 15 |
+
## 2. Plusieurs .pt en parallele puis fusion
|
| 16 |
+
On peut entrainer plein de .pt differents (4 GPU / 4 shards) puis les **mean-merge** en un seul Fractus unifie, puis continuer.
|
| 17 |
+
|
| 18 |
+
## 3. Fusionner un Fractus deja entraine avec d autres .pt
|
| 19 |
+
Boucle: train -> merge -> train -> merge ...
|
| 20 |
+
Le cerveau s accumule; on ne repart pas de zero.
|
| 21 |
+
Deux sens de grossir:
|
| 22 |
+
- **composition** (merge de poids meme architecture) — prouve sur ce run
|
| 23 |
+
- **croissance structurelle** (paliers, experts, profondeur) — design Fractus
|
| 24 |
+
|
| 25 |
+
## Limites
|
| 26 |
+
Memes shapes obligatoires. Merge trop divergent peut diluer. La gen libre n est pas encore au niveau de la loss teacher-forced.
|
| 27 |
+
|
| 28 |
+
Voir aussi: docs/COMPOSABILITY_AND_SURGERY.md (version anglaise complete).
|