MSA-Egyptian 500K SFT + card + eval

README.md

@@ -0,0 +1,116 @@
+---
+license: apache-2.0
+language:
+- ar
+base_model: oddadmix/Emhotob-500K-v2
+pipeline_tag: text-generation
+library_name: transformers
+tags:
+- translation
+- egyptian-arabic
+- msa
+- fusha
+- arabic
+- small-language-model
+- slm
+- tiny-lm
+- chatml
+- scaling-study
+metrics:
+- bleu
+- chrf
+---
+
+# Emhotob-500K-MSA-Egyptian-v1 — Bidirectional MSA ↔ Egyptian Arabic (~0.5M params)
+
+A **0.5M-parameter** model that translates **both ways** between **Modern Standard Arabic (الفصحى)** and **Egyptian colloquial Arabic (المصرية العامية)**.
+A single set of weights serves both directions; a direction-specific system prompt selects
+which way to translate.
+
+Finetuned from [`oddadmix/Emhotob-500K-v2`](https://huggingface.co/oddadmix/Emhotob-500K-v2), a tiny Llama-architecture
+base (hidden 16, 2 layers, 2 heads, vocab 32000, tied embeddings).
+
+> **Scaling study.** This is one rung of a from-scratch Arabic scaling study that runs an
+> identical SFT + eval recipe across bases from 0.5M to 50M parameters to locate where
+> translation *emerges*. On the headline MSA↔Egyptian pair, output is degenerate at ≤1M,
+> becomes real-but-rough at 5M, and usable at 10M+. See the sibling
+> [`oddadmix/50M-MSA-Egyptian-v1`](https://huggingface.co/oddadmix/50M-MSA-Egyptian-v1) for the fluent reference.
+
+## Evaluation
+
+Deterministic held-out set of **3,000 pairs** (`seed=42`),
+decoded **greedily** (`do_sample=False`, no repetition penalty), scored with sacreBLEU:
+
+| Direction | sacreBLEU | chrF |
+|---|---:|---:|
+| **MSA → Egyptian** | **0.00** | 2.99 |
+| **Egyptian → MSA** | **0.01** | 3.39 |
+
+Saved weights are the best checkpoint by validation loss (`eval_loss = 6.513`). 20 samples
+per direction with references are in [`eval_bidirectional.json`](./eval_bidirectional.json).
+
+### Example translations
+
+Real greedy-decoded outputs from the held-out set:
+
+**MSA → Egyptian**
+
+| Source | Model output | Reference |
+|---|---|---|
+| أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحز | أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي | انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً. |
+| شكرًا جزيلًا لك، أنت لطيف للغاية. | أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي | شكراً جداً، إنت طيب قوي. |
+
+**Egyptian → MSA**
+
+| Source | Model output | Reference |
+|---|---|---|
+| انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً. | أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي | أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحز |
+| شكراً جداً، إنت طيب قوي. | أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي | شكرًا جزيلًا لك، أنت لطيف للغاية. |
+
+## Usage
+
+ChatML format. **Pick the system prompt for the direction you want:**
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_id = "oddadmix/Emhotob-500K-MSA-Egyptian-v2"
+tok = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()
+
+SYSTEM = "أنت مترجم محترف. ترجم النص من اللغة العربية الفصحى إلى اللهجة المصرية العامية."
+
+def translate(text, system=SYSTEM):
+    prompt = (f"<|im_start|>system\n{system}<|im_end|>\n"
+              f"<|im_start|>user\n{text.strip()}<|im_end|>\n<|im_start|>assistant\n")
+    ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
+    if tok.bos_token_id is not None:
+        bos = torch.tensor([[tok.bos_token_id]], device=model.device)
+        ids["input_ids"] = torch.cat([bos, ids["input_ids"]], dim=1)
+        ids["attention_mask"] = torch.cat([torch.ones_like(bos), ids["attention_mask"]], dim=1)
+    out = model.generate(**ids, max_new_tokens=256, do_sample=False,
+                         eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id)
+    return tok.decode(out[0, ids["input_ids"].size(1):], skip_special_tokens=True).strip()
+```
+
+## Training
+
+- **Base model:** `oddadmix/Emhotob-500K-v2` (Llama arch, hidden 16, 2 layers, 2 heads, vocab 32000, tied embeddings;
+  **518,256 params** after resizing for 2 ChatML tokens)
+- **Dataset:** `oddadmix/egyptian-msa-2.9-openai-bytedance-translations`
+- **Method:** HuggingFace `Trainer`, ChatML, **prompt-masked cross-entropy** (loss only on the
+  assistant turn). Each row is exploded into **two** training examples (one per direction).
+- **Hyperparameters:** 3 epochs · effective batch 64 · LR 3e-4 (cosine, 5% warmup) ·
+  bf16 · max length 1024 · `load_best_model_at_end` on `eval_loss`.
+- **Eval split:** 3,000 deterministic held-out pairs (`seed=42`), scored both directions.
+
+## Limitations
+
+A ~0.5M model: reliable on short/common sentences, but drift, repetition, and errors appear
+on long or rare inputs. Gender is disambiguated only from context. For fluent translation use the
+50M sibling.
+
+## License
+
+Apache-2.0, inherited from the base model.

config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "dtype": "bfloat16",
+  "eos_token_id": 32001,
+  "head_dim": 8,
+  "hidden_act": "silu",
+  "hidden_size": 16,
+  "initializer_range": 0.02,
+  "intermediate_size": 48,
+  "max_position_embeddings": 2048,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 2,
+  "num_hidden_layers": 2,
+  "num_key_value_heads": 1,
+  "pad_token_id": 1,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.12.1",
+  "use_cache": false,
+  "vocab_size": 32002
+}

generation_config.json

@@ -0,0 +1,10 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 32001,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 1,
+  "transformers_version": "5.12.1",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0c6556dd34f53c190c4ceb24cd5b5bbf4030355e98af156a46e8f2bdd4cf3817
+size 1038632

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "eos_token": "<|im_end|>",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>"
+  ],
+  "is_local": false,
+  "local_files_only": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:10abf72d5354cf58d9840509e8c15c512b3cd01c071ace734639a5ee045bdcf0
+size 4792