Emhotob-500K-MSA-Egyptian-v1 — Bidirectional MSA ↔ Egyptian Arabic (~0.5M params)

A 0.5M-parameter model that translates both ways between Modern Standard Arabic (الفصحى) and Egyptian colloquial Arabic (المصرية العامية). A single set of weights serves both directions; a direction-specific system prompt selects which way to translate.

Finetuned from oddadmix/Emhotob-500K-v2, a tiny Llama-architecture base (hidden 16, 2 layers, 2 heads, vocab 32000, tied embeddings).

Scaling study. This is one rung of a from-scratch Arabic scaling study that runs an identical SFT + eval recipe across bases from 0.5M to 50M parameters to locate where translation emerges. On the headline MSA↔Egyptian pair, output is degenerate at ≤1M, becomes real-but-rough at 5M, and usable at 10M+. See the sibling oddadmix/50M-MSA-Egyptian-v1 for the fluent reference.

Evaluation

Deterministic held-out set of 3,000 pairs (seed=42), decoded greedily (do_sample=False, no repetition penalty), scored with sacreBLEU:

Direction sacreBLEU chrF
MSA → Egyptian 0.00 2.99
Egyptian → MSA 0.01 3.39

Saved weights are the best checkpoint by validation loss (eval_loss = 6.513). 20 samples per direction with references are in eval_bidirectional.json.

Example translations

Real greedy-decoded outputs from the held-out set:

MSA → Egyptian

Source Model output Reference
أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحز أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً.
شكرًا جزيلًا لك، أنت لطيف للغاية. أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي شكراً جداً، إنت طيب قوي.

Egyptian → MSA

Source Model output Reference
انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً. أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحز
شكراً جداً، إنت طيب قوي. أنا يا رفاق.com الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحيان. الأحي شكرًا جزيلًا لك، أنت لطيف للغاية.

Usage

ChatML format. Pick the system prompt for the direction you want:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "oddadmix/Emhotob-500K-MSA-Egyptian-v2"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()

SYSTEM = "أنت مترجم محترف. ترجم النص من اللغة العربية الفصحى إلى اللهجة المصرية العامية."

def translate(text, system=SYSTEM):
    prompt = (f"<|im_start|>system\n{system}<|im_end|>\n"
              f"<|im_start|>user\n{text.strip()}<|im_end|>\n<|im_start|>assistant\n")
    ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
    if tok.bos_token_id is not None:
        bos = torch.tensor([[tok.bos_token_id]], device=model.device)
        ids["input_ids"] = torch.cat([bos, ids["input_ids"]], dim=1)
        ids["attention_mask"] = torch.cat([torch.ones_like(bos), ids["attention_mask"]], dim=1)
    out = model.generate(**ids, max_new_tokens=256, do_sample=False,
                         eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id)
    return tok.decode(out[0, ids["input_ids"].size(1):], skip_special_tokens=True).strip()

Training

  • Base model: oddadmix/Emhotob-500K-v2 (Llama arch, hidden 16, 2 layers, 2 heads, vocab 32000, tied embeddings; 518,256 params after resizing for 2 ChatML tokens)
  • Dataset: oddadmix/egyptian-msa-2.9-openai-bytedance-translations
  • Method: HuggingFace Trainer, ChatML, prompt-masked cross-entropy (loss only on the assistant turn). Each row is exploded into two training examples (one per direction).
  • Hyperparameters: 3 epochs · effective batch 64 · LR 3e-4 (cosine, 5% warmup) · bf16 · max length 1024 · load_best_model_at_end on eval_loss.
  • Eval split: 3,000 deterministic held-out pairs (seed=42), scored both directions.

Limitations

A ~0.5M model: reliable on short/common sentences, but drift, repetition, and errors appear on long or rare inputs. Gender is disambiguated only from context. For fluent translation use the 50M sibling.

License

Apache-2.0, inherited from the base model.

Downloads last month
17
Safetensors
Model size
518k params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for oddadmix/Emhotob-500K-MSA-Egyptian-v2

Finetuned
(3)
this model

Collection including oddadmix/Emhotob-500K-MSA-Egyptian-v2

Article mentioning oddadmix/Emhotob-500K-MSA-Egyptian-v2