Upload 2 files

.gitattributes

@@ -34,3 +34,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
 tokenizer.json filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_params.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,288 @@
+---
+license: apache-2.0
+language:
+  - fr
+  - en
+tags:
+  - defense
+  - military
+  - french
+  - continued-pretraining
+  - mistral
+  - ties-merge
+base_model:
+  - mistralai/Mistral-Small-3.1-24B-Base-2503
+  - mistralai/Mistral-Small-3.1-24B-Instruct-2503
+pipeline_tag: text-generation
+library_name: transformers
+---
+
+# Berthier-Mistral-Military-24B
+
+**Berthier-Mistral-Military-24B** is a 24-billion-parameter French-first language model for the defense and security domain. Built on `mistralai/Mistral-Small-3.1-24B-Base-2503`, continued-pretrained on ≈4 B tokens of open-source military content and TIES-merged with the `-Instruct` variant to preserve conversational ability.
+
+Released by **[Racine.ai](https://racine.ai)**.
+
+![Hard Mil Bench: Global accuracy vs parameters](accuracy_vs_params.png)
+
+## Key findings
+
+- **+6.7 pp over base Mistral-Small-3.1** on Hard Mil Bench (57.6% vs 50.9%), consistent with published continued-pretraining deltas (Meditron-70B reports +6 pp on MedQA at 48 B tokens).
+- **On the open-source Pareto frontier at 24 B**, matching Mistral-Small 4 (≈119 B) and trailing Mistral-Large 3 (≈675 B) by ≈5 pp at **5× to 28× fewer parameters**.
+- **Outperforms newer-generation open-source models** Gemma 4 31B and Qwen 3.5 27B (both larger and released after Berthier's base model) as well as closed-source Claude Haiku 4.5, on Hard Mil Bench.
+
+---
+
+## English
+
+### Summary
+
+Berthier-Mistral-Military-24B is a 24-billion-parameter language model specialised for the defense and security domain, with focus on French and NATO military doctrine, equipment, and institutional vocabulary. It is the result of continued pre-training on a multilingual corpus of open-source military content, followed by a final TIES merge that blends the domain-adapted weights with the instruct variant of the base model.
+
+### Intended use
+
+**Research and education only.** Envisioned use cases:
+
+- Research assistance in defense policy, strategic studies, military history.
+- Educational tool for higher-military education (IHEDN, École de Guerre, staff colleges).
+- Revision aid for officer trainees and students in military academies.
+- Reference benchmark for research on domain adaptation of LLMs.
+
+### Out-of-scope uses
+
+Berthier-Mistral-Military-24B is **not intended for**:
+
+- Generating target lists or informing target-selection decisions.
+- Integration into fire-control or autonomous weapon systems.
+
+**Any use in armed conflict must comply with International Humanitarian Law** (distinction, proportionality, precaution). Users remain fully responsible for the consequences of outputs they rely on.
+
+### Training data
+
+The CPT corpus covers approximately **4 billion tokens** of open-source military and defense content, spanning **30 languages** (French and English dominant, followed by Russian, Chinese, German, Ukrainian, Arabic, Turkish, Polish, Hebrew, and others).
+
+### Training procedure (high-level)
+
+1. **Continued pre-training** via LoRA adapters on `mistralai/Mistral-Small-3.1-24B-Base-2503`, one epoch over the ≈4 B-token corpus, on an 8×H200 GPU cluster.
+2. **LoRA merge**: the CPT adapters are merged back into the base model weights, producing a domain-adapted dense model.
+3. **TIES merge** between the domain-adapted model and `mistralai/Mistral-Small-3.1-24B-Instruct-2503`, to retain instruction-following and general-purpose conversational ability while keeping the domain knowledge acquired.
+
+### Evaluation
+
+Berthier was evaluated on **Hard Mil Bench**, a 561-item open-ended benchmark (314 FR / 247 EN). Strictly deterministic scoring, no LLM judge, no multiple-choice: normalised substring match for `short_answer` / `cloze` / `enum`, F1 ≥ 2/3 for `set`, strict ordered match for `permutation`.
+
+**Global results (accuracy ≥ 0.5):**
+
+| Model | Global | FR (n=314) | EN (n=247) |
+|---|---|---|---|
+| Gemini 3 Flash *(closed, top reference)* | **72.4%** | **69.7%** | **75.7%** |
+| GPT-5.4 mini *(closed)* | 66.7% | 61.1% | 73.7% |
+| Mistral-Large 3 *(≈675B)* | 62.8% | 60.8% | 65.1% |
+| Mistral-Small 4 *(≈119B)* | 58.1% | 57.3% | 59.1% |
+| **Berthier-Mistral-Military-24B (this model)** | **57.6%** | **55.1%** | **60.7%** |
+| Gemma 4 31B | 54.4% | 52.5% | 56.7% |
+| Mistral-Small 3.1 *(base, 24B)* | 50.9% | 49.0% | 53.3% |
+| Claude Haiku 4.5 | 48.1% | 48.1% | 48.2% |
+| Qwen 3.5 27B | 47.8% | 44.3% | 52.2% |
+
+**Gain over the base model: +6.7 pp** (57.6% vs 50.9%).
+
+### Qualitative examples
+
+Examples where Berthier succeeds on items the base model fails:
+
+**Example 1 (FR, French equipment)**
+
+ > Q: « Le micro-drone de contact quadrirotor utilisé en reconnaissance rapprochée par les sections d'infanterie françaises est le ____ »
+>
+> Gold: `NX70`
+>
+> - Base Mistral-Small-3.1 → `Patroller` (incorrect: Patroller is a MALE long-endurance drone, not a micro-drone)
+> - **Berthier-Mistral-Military-24B → `NX70`**
+
+**Example 2 (FR, French military institution)**
+
+> Q: « Le service public chargé de l'action sociale au profit des militaires et de leurs familles (logements, crèches, vacances) est l'____ »
+>
+> Gold: `IGESA`
+>
+> - Base → `Service des ressources humaines de la ministère des armées` (hallucinated)
+> - **Berthier → `Institution de gestion sociale des armées (IGeSA)`**
+
+**Example 3 (EN, French Navy programme)**
+
+> Q: "The new French nuclear-powered attack submarine of the Barracuda programme, lead boat commissioned in 2022, is named the ____."
+>
+> Gold: `Suffren`
+>
+> - Base → `SNLE 3G Le Terrible` (incorrect: a ballistic-missile submarine class, not an attack submarine)
+> - **Berthier → `Suffren`**
+
+### Usage
+
+```python
+from transformers import AutoProcessor, AutoModelForImageTextToText
+import torch
+
+model_id = "racineai/Berthier-Mistral-Military-24B"
+processor = AutoProcessor.from_pretrained(model_id)
+model = AutoModelForImageTextToText.from_pretrained(
+    model_id, dtype=torch.bfloat16, device_map="auto"
+)
+
+messages = [
+    {"role": "system", "content": [{"type": "text",
+        "text": "You are a competent assistant on defence and security topics. Answer in English."}]},
+    {"role": "user", "content": [{"type": "text",
+        "text": "Which two existing helicopter platforms is the Improved Turbine Engine Program designed to re-engine, before integration on FARA?"}]},
+]
+inputs = processor.apply_chat_template(messages, add_generation_prompt=True,
+                                        tokenize=True, return_dict=True,
+                                        return_tensors="pt").to(model.device)
+with torch.no_grad():
+    out = model.generate(**inputs, max_new_tokens=400, temperature=0.15, do_sample=True)
+print(processor.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+---
+
+## Français
+
+### Résumé
+
+Berthier-Mistral-Military-24B est un modèle de langue de 24 milliards de paramètres, spécialisé dans le domaine de la défense et de la sécurité, avec une focalisation sur les doctrines, l'équipement et le vocabulaire militaire français et OTAN. Il est issu d'un continued pre-training sur un corpus multilingue de contenus militaires en source ouverte, puis d'une fusion TIES avec la variante Instruct du modèle de base pour préserver les capacités conversationnelles.
+
+### Points-clés
+
+- **+6,7 pp par rapport au modèle de base** Mistral-Small-3.1 sur Hard Mil Bench (57,6 % vs 50,9 %), cohérent avec la littérature CPT publiée.
+- **Sur la frontière de Pareto open-source à 24 B**, à égalité avec Mistral-Small 4 (≈119 B) et derrière Mistral-Large 3 (≈675 B) avec 5 à 28 fois moins de paramètres.
+- **Surpasse des modèles open-source plus récents et plus grands**, Gemma 4 31B et Qwen 3.5 27B (tous deux plus grands et publiés après le modèle de base de Berthier) ainsi que Claude Haiku 4.5 (closed-source), sur Hard Mil Bench.
+
+### Usages prévus
+
+**Utilisation à des fins de recherche et d'éducation uniquement.** Cas d'usage envisagés :
+
+- Assistance à la recherche en politiques de défense, études stratégiques, histoire militaire.
+- Outil pédagogique pour l'enseignement militaire supérieur (IHEDN, École de Guerre, École d'État-Major).
+- Aide à la révision pour officiers stagiaires et élèves des écoles de formation.
+- Benchmark de référence pour la recherche sur l'adaptation de modèles au domaine.
+
+### Usages hors périmètre
+
+Berthier-Mistral-Military-24B **n'est pas conçu** pour :
+
+- Générer des listes de cibles ou informer des décisions de ciblage.
+- Être intégré à des systèmes de conduite de tir ou à des armes autonomes.
+
+**Toute utilisation dans le cadre d'un conflit armé doit respecter le Droit International Humanitaire** (distinction, proportionnalité, précaution). Les utilisateurs restent entièrement responsables des conséquences des sorties sur lesquelles ils s'appuient.
+
+### Données d'entraînement
+
+Le corpus CPT couvre **environ 4 milliards de tokens** de contenus militaires et de défense en source ouverte, couvrant **30 langues** (français et anglais dominants, suivis de russe, chinois, allemand, ukrainien, arabe, turc, polonais, hébreu, etc.).
+
+### Procédure d'entraînement (haut niveau)
+
+1. **Continued pre-training** via adaptateurs LoRA sur `mistralai/Mistral-Small-3.1-24B-Base-2503`, une époque sur le corpus de ≈4 milliards de tokens, sur cluster 8×H200.
+2. **Fusion LoRA** : les adaptateurs CPT sont fusionnés dans les poids du modèle de base, produisant un modèle dense adapté au domaine.
+3. **Fusion TIES** entre le modèle adapté au domaine et `mistralai/Mistral-Small-3.1-24B-Instruct-2503`, pour préserver les capacités de suivi d'instructions et de conversation généraliste tout en conservant les connaissances de domaine.
+
+### Évaluation
+
+Berthier a été évalué sur **Hard Mil Bench**, un benchmark à réponse libre de 561 items (314 FR / 247 EN). Notation strictement déterministe, pas de juge LLM, pas de QCM : appariement normalisé sur `short_answer` / `cloze` / `enum`, F1 ≥ 2/3 sur `set`, correspondance ordonn��e stricte sur `permutation`.
+
+**Résultats globaux (accuracy ≥ 0,5) :**
+
+| Modèle | Global | FR (n=314) | EN (n=247) |
+|---|---|---|---|
+| Gemini 3 Flash *(closed, référence haute)* | **72,4 %** | **69,7 %** | **75,7 %** |
+| GPT-5.4 mini *(closed)* | 66,7 % | 61,1 % | 73,7 % |
+| Mistral-Large 3 *(≈675 B)* | 62,8 % | 60,8 % | 65,1 % |
+| Mistral-Small 4 *(≈119 B)* | 58,1 % | 57,3 % | 59,1 % |
+| **Berthier-Mistral-Military-24B (ce modèle)** | **57,6 %** | **55,1 %** | **60,7 %** |
+| Gemma 4 31B | 54,4 % | 52,5 % | 56,7 % |
+| Mistral-Small 3.1 *(base, 24 B)* | 50,9 % | 49,0 % | 53,3 % |
+| Claude Haiku 4.5 | 48,1 % | 48,1 % | 48,2 % |
+| Qwen 3.5 27B | 47,8 % | 44,3 % | 52,2 % |
+
+**Gain par rapport au modèle de base : +6,7 pp** (57,6 % vs 50,9 %).
+
+### Exemples qualitatifs
+
+Cas où Berthier répond correctement à des questions où le modèle de base échoue :
+
+**Exemple 1 (FR, équipement français)**
+
+> Q : « Le micro-drone de contact quadrirotor utilisé en reconnaissance rapprochée par les sections d'infanterie françaises est le ____ »
+>
+> Réponse : `NX70`
+>
+> - Base Mistral-Small-3.1 → `Patroller` (incorrect : le Patroller est un drone MALE d'endurance, pas un micro-drone)
+> - **Berthier-Mistral-Military-24B → `NX70`**
+
+**Exemple 2 (FR, institution militaire française)**
+
+> Q : « Le service public chargé de l'action sociale au profit des militaires et de leurs familles (logements, crèches, vacances) est l'____ »
+>
+> Réponse : `IGESA`
+>
+> - Base → `Service des ressources humaines de la ministère des armées` (hallucination)
+> - **Berthier → `Institution de gestion sociale des armées (IGeSA)`**
+
+**Exemple 3 (EN, programme Marine nationale)**
+
+> Q: "The new French nuclear-powered attack submarine of the Barracuda programme, lead boat commissioned in 2022, is named the ____."
+>
+> Réponse : `Suffren`
+>
+> - Base → `SNLE 3G Le Terrible` (incorrect : classe de SNLE, pas de SNA)
+> - **Berthier → `Suffren`**
+
+### Utilisation
+
+```python
+from transformers import AutoProcessor, AutoModelForImageTextToText
+import torch
+
+model_id = "racineai/Berthier-Mistral-Military-24B"
+processor = AutoProcessor.from_pretrained(model_id)
+model = AutoModelForImageTextToText.from_pretrained(
+    model_id, dtype=torch.bfloat16, device_map="auto"
+)
+
+messages = [
+    {"role": "system", "content": [{"type": "text",
+        "text": "Tu es un assistant compétent en questions de défense et sécurité. Réponds en français."}]},
+    {"role": "user", "content": [{"type": "text",
+        "text": "Quelles sont les six phases de la MEDOT, dans l'ordre ?"}]},
+]
+inputs = processor.apply_chat_template(messages, add_generation_prompt=True,
+                                        tokenize=True, return_dict=True,
+                                        return_tensors="pt").to(model.device)
+with torch.no_grad():
+    out = model.generate(**inputs, max_new_tokens=400, temperature=0.15, do_sample=True)
+print(processor.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+---
+
+## Citation
+
+```bibtex
+@misc{berthier_mistral_military_24b_2026,
+  title        = {Berthier-Mistral-Military-24B: A French-Specialised Language Model for Defense and Security},
+  author       = {{Racine.ai}},
+  year         = {2026},
+  howpublished = {\url{https://huggingface.co/racineai/Berthier-Mistral-Military-24B}},
+  note         = {Continued pre-training of Mistral-Small-3.1-24B-Base via LoRA, then TIES-merged with Mistral-Small-3.1-24B-Instruct.}
+}
+```
+
+## Acknowledgements
+
+- Base models: **Mistralai**, `Mistral-Small-3.1-24B-Base-2503` (LoRA training target) and `Mistral-Small-3.1-24B-Instruct-2503` (TIES merge partner).
+- Compute: CEA SLURM cluster (H100 / H200 partitions).
+- Evaluation framework: **Hard Mil Bench**, Racine.ai, 561-item open-ended benchmark.
+
+## Contact
+
+Issues, feedback, dataset requests: open an issue on the Hugging Face repo or contact Racine.ai.