v2.0.0: initial release — 9L distilled from titibongbong v1 (11L)

README.md

@@ -0,0 +1,193 @@
+---
+license: mit
+language:
+  - fr
+pipeline_tag: token-classification
+tags:
+  - safetensors
+  - camembert
+  - token-classification
+  - named-entity-recognition
+  - french
+  - distillation
+  - fp16
+  - medical
+  - social-work
+  - ner
+library_name: transformers
+base_model: jmdanto/titibongbong_camemBERT_NER
+model-index:
+  - name: titibongbong v2 — 9L distilled NER for French medical-social documents
+    results:
+      - task:
+          type: token-classification
+          name: Named Entity Recognition
+        dataset:
+          name: LaPlume Gold Standard (medical-social)
+          type: custom
+        metrics:
+          - name: F1 (pipeline global)
+            type: f1
+            value: 0.868
+            verified: true
+          - name: F1 weighted (CRIT+ELEV+MOY)
+            type: f1
+            value: 0.898
+            verified: true
+          - name: Precision
+            type: precision
+            value: 0.832
+            verified: true
+          - name: Recall
+            type: recall
+            value: 0.908
+            verified: true
+          - name: F1 CRIT (direct identifiers)
+            type: f1
+            value: 0.955
+            verified: true
+          - name: F1 ELEV (high risk)
+            type: f1
+            value: 0.964
+            verified: true
+          - name: F1 MOY (moderate risk)
+            type: f1
+            value: 0.955
+            verified: true
+datasets:
+  - custom-medical-social-corpus
+---
+
+# titibongbong v2 — CamemBERT-NER 9L distillé
+
+**Distilled from [titibongbong v1](https://huggingface.co/jmdanto/titibongbong_camemBERT_NER) (11L) → 9 layers.**
+
+Modèle de reconnaissance d'entités nommées (NER) optimisé pour les documents médico-sociaux français, avec un accent sur la pseudonymisation (RGPD). Version 9 couches obtenue par distillation avec KL divergence + cross-entropy, sans perte de qualité.
+
+## 📊 Métriques (gold standard LaPlume)
+
+| Métrique   | titibongbong v1 (11L) | **titibongbong v2 (9L)** | Δ          |
+| ---------- | --------------------- | ------------------------ | ---------- |
+| F1 Global  | 86.4%                 | **86.8%**                | +0.4 pt ✅ |
+| F1 Pondéré | 89.6%                 | **89.8%**                | +0.2 pt ✅ |
+| Précision  | 83.2%                 | **83.2%**                | —          |
+| Rappel     | 90.0%                 | **90.8%**                | +0.8 pt ✅ |
+| F1 CRIT    | 95.5%                 | **95.5%**                | —          |
+| F1 ELEV    | 96.1%                 | **96.4%**                | +0.3 pt ✅ |
+| F1 MOY     | 94.8%                 | **95.5%**                | +0.7 pt ✅ |
+
+Évalué sur 975 entités annotées manuellement (9 rapports médico-sociaux complets), via le pipeline hybride LaPlume (NER + règles regex + gazetteers Aho-Corasick). Les métriques excluent la catégorie FAIB (entités à faible risque de réidentification).
+
+## 🏗️ Architecture
+
+| Propriété         | Valeur                                               |
+| ----------------- | ---------------------------------------------------- |
+| **Base**          | CamemBERT (RoBERTa français)                         |
+| **Couches**       | **9** (vs 12 pour le teacher originel, 11 pour v1)   |
+| **Paramètres**    | **88.8M**                                            |
+| **Taille (FP16)** | **169 MB** (vs 393 MB FP32 v1, 420 MB teacher)       |
+| **Labels**        | 5 classes : `O`, `I-LOC`, `I-PER`, `I-MISC`, `I-ORG` |
+| **Précision**     | FP16 (half precision)                                |
+| **Tokenization**  | SentencePiece 32K vocab                              |
+| **Max sequence**  | 512 tokens                                           |
+
+## 🔬 Méthode de distillation
+
+- **Teacher** : `jmdanto/titibongbong_camemBERT_NER` (11 couches)
+- **Student** : copie du teacher avec retrait des couches 5 et 6
+- **Loss** : 0.5·CrossEntropy + 0.5·KL divergence (T=4), sans CRF
+- **Corpus** : 1.28M tokens (670 chunks de rapports médico-sociaux + romans français)
+- **Hardware** : RunPod A100 80GB, bf16, 8 epochs, batch size 32
+- **Framework** : PyTorch 2.x + HuggingFace Transformers 4.57
+
+## 🚀 Utilisation
+
+```python
+from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
+
+model = AutoModelForTokenClassification.from_pretrained("jmdanto/titibongbong_9L_v2")
+tokenizer = AutoTokenizer.from_pretrained("jmdanto/titibongbong_9L_v2")
+
+ner = pipeline("token-classification", model=model, tokenizer=tokenizer,
+               aggregation_strategy="simple")
+
+text = "Jean Dupont, né le 15/03/1985, réside au 12 rue des Lilas à Paris."
+results = ner(text)
+# [{'entity_group': 'PER', 'word': 'Jean Dupont', ...},
+#  {'entity_group': 'LOC', 'word': 'Paris', ...}]
+```
+
+## ⚡ Performance
+
+Mesuré sur le pipeline LaPlume complet (NER + règles + gazetteers Aho-Corasick), texte ~1200 caractères.
+
+| Plateforme                        | Temps NER seul (9L FP16) |
+| --------------------------------- | ------------------------ |
+| Apple M3 Max (16 cœurs)           | 0.044s                   |
+| PC standard (i5, 8 Go, 4 threads) | ~0.09s (estimé)          |
+
+Le gain principal de v2 par rapport à v1 est la **taille mémoire** (169 MB FP16 vs 393 MB FP32) et le nombre de couches (9 vs 11), critique pour le déploiement local sur des machines à RAM limitée (8-16 Go). La vitesse d'inférence CPU est comparable car le goulot d'étranglement du pipeline n'est pas le NER mais les gazetteers.
+</replace_in_file>
+
+## 🏥 Domaine d'application
+
+Entraîné et évalué sur un corpus varié de documents du secteur social et médico-social français :
+
+- Rapports éducatifs et notes sociales
+- Courriers institutionnels (MDPH, CAF, ASE)
+- Signalisements et informations préoccupantes
+- Projets personnalisés et contrats de séjour
+- Rapports de gestion budgétaire
+- Extraits de romans (Zola, Maupassant) pour robustesse hors-domaine
+
+## 📁 Versions
+
+| Version | Couches            | Taille          | F1        | HuggingFace                                                                             |
+| ------- | ------------------ | --------------- | --------- | --------------------------------------------------------------------------------------- |
+| v1      | 11L (1 pruned)     | 393 MB FP32     | 86.4%     | [titibongbong_camemBERT_NER](https://huggingface.co/jmdanto/titibongbong_camemBERT_NER) |
+| **v2**  | **9L (distilled)** | **169 MB FP16** | **86.8%** | Ce modèle                                                                               |
+
+## ⚠️ Limitations
+
+- Entraîné exclusivement sur du français → performances non garanties sur d'autres langues
+- Domaine médico-social → peut ne pas généraliser à d'autres domaines (juridique, littéraire général)
+- Labels I-\* uniquement (pas de distinction B-/I-) comme le teacher Jean-Baptiste
+- Classe MISC conservée pour compatibilité mais peu utilisée dans le pipeline cible
+- **Granularité des labels** : ce modèle expose 5 labels NER agrégés (O, PER, LOC, ORG, MISC) pour compatibilité avec l'écosystème CamemBERT. Le pipeline LaPlume complet utilise une taxonomie de **101 catégories** (identifiants directs, indirects, contextuels) — la granularité fine est obtenue par règles regex, gazetteers et post-traitement, pas par le NER seul.
+
+## ⚖️ Cadre réglementaire et positionnement
+
+Le secteur médico-social produit des documents à haute densité de données personnelles : identités, dates, adresses, numéros de dossier, organisations impliquées, parcours de soins. Leur traitement par des LLM externes expose à des risques de réidentification que le cadre juridique actuel appréhende avec une exigence croissante.
+
+La jurisprudence récente est sans ambiguïté : la qualification juridique des données ne dépend pas de la technique utilisée, mais repose uniquement sur l'appréciation objective du risque effectif de réidentification (Conseil d'État, n°498628, 13 février 2026, confirmant CJUE, OC c/ Commission, 7 mars 2024). La pseudonymisation ne saurait être assimilée à une anonymisation, sauf à démontrer concrètement que la réidentification est, en pratique, irréalisable — et la charge de cette démonstration pèse sur le responsable de traitement.
+
+LaPlume adopte une logique de pseudonymisation dense, conçue précisément pour atteindre ce seuil d'irréalisabilité pratique. La taxonomie 101 catégories ne se limite pas aux identifiants directs (NIR, nom, date de naissance) : elle couvre systématiquement les vecteurs de réidentification indirecte — organisations nommées, établissements, services, dates et heures, codes et références institutionnelles. Même sans identification directe, la possibilité de réidentification indirecte suffit à qualifier les informations de données personnelles de santé : c'est exactement ce risque que la profondeur de la taxonomie vise à neutraliser.
+
+**Deux usages cibles, une même exigence :**
+
+- **Sas LLM** : les documents sont pseudonymisés localement avant tout appel à un modèle externe (Anthropic, Gemini…), traités avec des tokens typés, puis dépseudonymisés localement. Aucune donnée nominative ne transite vers l'infrastructure tierce.
+- **Sas RAG** : avant indexation dans une base vectorielle, les documents sont pseudonymisés pour constituer une mémoire vivante des pratiques professionnelles et des organisations — comptes rendus, notes sociales, rapports éducatifs. Cette mémoire peut être interrogée, enrichie et maintenue dans le temps sans exposer les personnes concernées, tout en conservant la richesse sémantique et organisationnelle des documents (noms d'établissements remplacés par leurs types, dates décalées mais conservées comme marqueurs temporels relatifs, etc.).
+
+**Ce que LaPlume ne prétend pas** : la pseudonymisation dense reste une mesure de sécurisation, pas une anonymisation au sens juridique. La responsabilité du traitement demeure entière — LaPlume réduit le risque d'exposition, elle ne le supprime pas.
+
+Une évaluation avec deux annotateurs indépendants sur 20 rapports (~3 000 entités) est en cours et fera l'objet d'une publication dédiée.
+
+## 📜 Citation
+
+```bibtex
+@misc{titibongbong_v2_2026,
+  author = {Danto, Patrick},
+  title = {titibongbong v2: CamemBERT-NER 9L distillé pour la pseudonymisation de documents médico-sociaux},
+  year = {2026},
+  publisher = {HuggingFace},
+  url = {https://huggingface.co/jmdanto/titibongbong_9L_v2}
+}
+```
+
+## 🔗 Projet LaPlume
+
+Ce modèle est un composant du pipeline LaPlume de pseudonymisation RGPD pour le secteur social et médico-social.
+
+- **Code source** : [github.com/confidensia-lab](https://github.com/confidensia-lab)
+- **Teacher v1** : [titibongbong_camemBERT_NER](https://huggingface.co/jmdanto/titibongbong_camemBERT_NER)
+- **Teacher originel** : [Jean-Baptiste/camembert-ner](https://huggingface.co/Jean-Baptiste/camembert-ner)

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<unk>NOTUSED": 32005
+}

config.json

@@ -0,0 +1,42 @@
+{
+  "architectures": [
+    "CamembertForTokenClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 5,
+  "classifier_dropout": null,
+  "dtype": "float16",
+  "eos_token_id": 6,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "O",
+    "1": "I-LOC",
+    "2": "I-PER",
+    "3": "I-MISC",
+    "4": "I-ORG"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "I-LOC": 1,
+    "I-MISC": 3,
+    "I-ORG": 4,
+    "I-PER": 2,
+    "O": 0
+  },
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "camembert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 9,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "transformers_version": "4.57.6",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 32005
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6e7200be53a2bfec2ce8a86825b9bae13457193d16ce0252945376339a804abd
+size 177561154

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:988bc5a00281c6d210a5d34bd143d0363741a432fefe741bf71e61b1869d4314
+size 810912

special_tokens_map.json

@@ -0,0 +1,56 @@
+{
+  "additional_special_tokens": [
+    "<s>NOTUSED",
+    "</s>NOTUSED",
+    "<unk>NOTUSED"
+  ],
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,84 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>NOTUSED",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>NOTUSED",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "6": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32004": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32005": {
+      "content": "<unk>NOTUSED",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "additional_special_tokens": [
+    "<s>NOTUSED",
+    "</s>NOTUSED",
+    "<unk>NOTUSED"
+  ],
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "CamembertTokenizer",
+  "unk_token": "<unk>"
+}