tachelhit-lab/tash_tfngh_milora_general

NLLB-200 fine-tuné avec MiLoRA — Anglais → Tachelhit (Tifinagh)

Adaptateur PEFT (méthode MiLoRA, implémentation manuelle — non disponible nativement dans la librairie peft) entraîné sur 147 419 paires anglais–tachelhit, à partir de facebook/nllb-200-distilled-600M.

⚠️ Modèle expérimental — dépôt privé, non destiné à un déploiement médical sans validation humaine.

Résultats

Métrique	Baseline	MiLoRA (fine-tuné)
BLEU	0,57	15,49
chrF++	11,77	39,03
CER ↓	73,16	47,88

Gain statistiquement significatif (bootstrap, p < 0,001).

Voir results.csv / results.json / significance.json pour le détail complet des métriques, et les fichiers .png pour les visualisations (courbes de loss, analyse SVD, distribution des scores).

Utilisation

import torch
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from peft import PeftModel

base_model_id = "facebook/nllb-200-distilled-600M"
adapter_repo_id = "sahabiahmedreda/tash_tfngh_milora"
src_lang, tgt_lang = "eng_Latn", "tzm_Tfng"

tokenizer = AutoTokenizer.from_pretrained(adapter_repo_id, src_lang=src_lang, tgt_lang=tgt_lang)
forced_bos_token_id = tokenizer.convert_tokens_to_ids(tgt_lang)

base_model = AutoModelForSeq2SeqLM.from_pretrained(base_model_id, torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(base_model, adapter_repo_id)
model.eval()

inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, forced_bos_token_id=forced_bos_token_id, max_new_tokens=64,
                          no_repeat_ngram_size=3, repetition_penalty=1.3)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Limites connues

• tzm_Tfng est utilisé comme proxy — NLLB-200 n'a pas de code dédié pour le Tachelhit.
• Capacité d'adaptation utilisée : 15,5 % (attendu pour MiLoRA, qui cible les composantes mineures de la matrice de poids).
• Pas d'évaluation humaine effectuée à ce stade.