MSA-Egyptian 500K SFT + card + eval (capacity-floor reproduction)

README.md

@@ -0,0 +1,117 @@
+---
+license: apache-2.0
+language:
+- ar
+base_model: oddadmix/Emhotob-500K
+pipeline_tag: text-generation
+library_name: transformers
+tags:
+- translation
+- egyptian-arabic
+- msa
+- fusha
+- arabic
+- small-language-model
+- slm
+- tiny-lm
+- chatml
+- scaling-study
+metrics:
+- bleu
+- chrf
+---
+
+# Emhotob-500K-MSA-Egyptian-v1 — Bidirectional MSA ↔ Egyptian Arabic (~0.5M params)
+
+A **518K-parameter** model finetuned to translate **both ways** between
+**Modern Standard Arabic (الفصحى)** and **Egyptian colloquial Arabic (المصرية العامية)**,
+using a direction-specific Arabic system prompt to select the direction.
+
+Finetuned from [`oddadmix/Emhotob-500K`](https://huggingface.co/oddadmix/Emhotob-500K),
+a **tiny** Llama-architecture base (hidden size 16, 2 layers, 2 heads, tied embeddings).
+
+> ⚠️ **This is a scaling-study / capacity-limit reproduction, not a usable translator.**
+> It runs the *exact* SFT + evaluation recipe of the
+> [`oddadmix/50M-MSA-Egyptian-v1`](https://huggingface.co/oddadmix/50M-MSA-Egyptian-v1)
+> sibling on a base **~100× smaller** (518K vs 51.8M params). At this size the model has
+> far too little capacity for the task and **collapses to a degenerate output** (it emits a
+> single repeated token), so BLEU/chrF are effectively zero. The purpose is to document how
+> the *same pipeline* behaves as the base model shrinks — see the 50M sibling for a model
+> that actually translates.
+
+## Evaluation
+
+Evaluated on a **deterministic held-out set of 3,000 pairs** (`seed=42`), decoded
+**greedily** (`do_sample=False`, no repetition penalty), scored with sacreBLEU:
+
+| Direction | sacreBLEU | chrF |
+|---|---:|---:|
+| **MSA → Egyptian** | 0.01 | 0.27 |
+| **Egyptian → MSA** | 0.01 | 0.28 |
+
+The best checkpoint by validation loss is epoch 1 of 3 (`eval_loss ≈ 8.42`); validation loss
+does not improve after epoch 1 and the training loss plateaus around 8.44. For reference,
+uniform-random over the 32K vocab is `ln(32000) ≈ 10.4` nats — so the model learns only the
+token-frequency prior, not the mapping. Greedy decoding of the resulting weights produces a
+degenerate, repeated-token string for essentially every input; the 20 saved samples per
+direction in [`eval_bidirectional.json`](./eval_bidirectional.json) show this directly.
+
+## What this is for
+
+- A **controlled scaling data point**: identical data, prompts, tokenizer, ChatML masking,
+  optimizer, schedule, and eval as the 50M run — only the base model capacity changes.
+- A reproducible **floor** for the Emhotob translation suite.
+
+If you want working MSA↔Egyptian translation, use
+[`oddadmix/50M-MSA-Egyptian-v1`](https://huggingface.co/oddadmix/50M-MSA-Egyptian-v1)
+(BLEU ~24–26 on the same held-out set).
+
+## Usage
+
+Same ChatML interface as the rest of the suite (outputs will be degenerate at this size):
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_id = "oddadmix/Emhotob-500K-MSA-Egyptian-v1"
+tok = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()
+
+SYS_TO_EGY = "أنت مترجم محترف. ترجم النص من اللغة العربية الفصحى إلى اللهجة المصرية العامية."
+SYS_TO_MSA = "أنت مترجم محترف. ترجم النص من اللهجة المصرية العامية إلى اللغة العربية الفصحى."
+
+def translate(text: str, system: str) -> str:
+    prompt = (
+        f"<|im_start|>system\n{system}<|im_end|>\n"
+        f"<|im_start|>user\n{text.strip()}<|im_end|>\n"
+        f"<|im_start|>assistant\n"
+    )
+    ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
+    if tok.bos_token_id is not None:  # training prepends BOS
+        bos = torch.tensor([[tok.bos_token_id]], device=model.device)
+        ids["input_ids"] = torch.cat([bos, ids["input_ids"]], dim=1)
+        ids["attention_mask"] = torch.cat([torch.ones_like(bos), ids["attention_mask"]], dim=1)
+    out = model.generate(**ids, max_new_tokens=256, do_sample=False,
+                         eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id)
+    return tok.decode(out[0, ids["input_ids"].size(1):], skip_special_tokens=True).strip()
+
+print(translate("شكرًا جزيلًا لك، أنت لطيف للغاية.", SYS_TO_EGY))
+```
+
+## Training
+
+- **Base model:** `oddadmix/Emhotob-500K` (Llama arch, hidden 16, 2 layers, 2 heads,
+  vocab 32000, tied embeddings; **518,256 params** after resizing for 2 ChatML tokens)
+- **Dataset:** `oddadmix/egyptian-msa-2.9-openai-bytedance-translations` (132K rows,
+  `egyptian`/`msa` columns)
+- **Method:** HuggingFace `Trainer`, ChatML, **prompt-masked cross-entropy** (loss only on
+  the assistant turn). Each row is exploded into **two** training examples (one per direction).
+  Two ChatML special tokens (`<|im_start|>`, `<|im_end|>`) were added and embeddings resized.
+- **Hyperparameters:** 3 epochs · effective batch 64 · LR 3e-4 (cosine, 5% warmup) ·
+  bf16 · max length 1024 · `load_best_model_at_end` on `eval_loss`.
+- **Split:** 129,009 train / 3,000 deterministic held-out (`seed=42`), scored both directions.
+
+## License
+
+Apache-2.0, inherited from the base model.

config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "dtype": "bfloat16",
+  "eos_token_id": 32001,
+  "head_dim": 8,
+  "hidden_act": "silu",
+  "hidden_size": 16,
+  "initializer_range": 0.02,
+  "intermediate_size": 48,
+  "max_position_embeddings": 2048,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 2,
+  "num_hidden_layers": 2,
+  "num_key_value_heads": 1,
+  "pad_token_id": 1,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.12.1",
+  "use_cache": false,
+  "vocab_size": 32002
+}

eval_bidirectional.json

@@ -0,0 +1,223 @@
+{
+  "eval_size": 3000,
+  "seed": 42,
+  "generation": {
+    "do_sample": false,
+    "repetition_penalty": 1.0,
+    "no_repeat_ngram_size": 0
+  },
+  "directions": {
+    "msa2egy": {
+      "bleu": 0.011231664982702378,
+      "chrf": 0.26928002400301937,
+      "samples": [
+        {
+          "source": "أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحزم.",
+          "reference": "انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "شكرًا جزيلًا لك، أنت لطيف للغاية.",
+          "reference": "شكراً جداً، إنت طيب قوي.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "ليحفظ الله الجميع الذين لديهم أصدقاء مخلصون. يجب أن يقدروهم لأن الصديق لا يمكن استبداله، خاصة إذا كان جيدًا. الآن بدأ يصبح سميكًا هكذا، لا تستخدم الكثير من نشا الذرة. عندما يبرد، سوف يتصلب البودنغ - من المعروف أنه يصبح أكثر صلابةً عندما يبرد. نريده أن يكون كريميًا، وليس قاسيًا جدًا، لذا قلل من نشا الذرة. لا تجعله كثيفًا جدًا مع نشا الذرة. انظر، سماكته مناسبة تمامًا لأنه عندما يبرد، سوف يمنحك الطعم الحلو دون أن يغلب نشا الذرة عليه. نريد ذلك حتى تتمكن من تذوق نكهات البرتقال والجزرة حقًا. الآن سنبدأ في تقشيره. انظر كم أصبح سميكًا، وبما أنه يغلي على الجانبين - عندما يغلي على الجانبين، تعرف أنه جاهز. لا تتركه على النار لفترة أطول من هذه أو سيصبح سميكًا جدًا وغير مرغوب فيه. بمجرد أن يغلي على الجانبين ويصل إلى هذه السماكة اللطيفة والطبيعية، سنقوم بإيقاف النار.",
+          "reference": "ربنا يبارك لكل واحد عنده صاحب وافي ويخلي باله منه عشان الصحاب ما بيتعوضوش، خصوصًا لو كان كويس. بصوا كده المهلبيه ابتدت تتقل، ما نكترش النشا. كل ما تبرد هتمسك أكتر. احنا عايزينها كريمي مش جامدة قوي، فقللوا النشا. ما تثقّلوهاش بالنشا. كده القوام مظبوط، عشان لما تبرد تديلك الطعم الحلو من غير ما النشا يغطي على الطعم. احنا عايزين الطعم يبقى باين فيه البرتقال والجزر. دلوقتي هنبتدي نغرفها. بصوا بقت تخينة ازاي، ومن الجوانب غليت، لما تلاقيها بتغلي من الجنب تعرف انها استوت. ما تسيبهاش على النار أكتر من كده عشان ما تتقلش وتبقى مش لطيفة. أول ما تغلي من الجنب وتوصل للقوام ده، نطفي النار على طول.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "أنا لا أحسب حقًا، أنا أغتنم أي فرصة. ماذا عن المباراة والوضع؟ لقد خنتني، وهل هذا حقًا وقت الحفلة؟ لا حفلة، لا أحد يشتري أي شيء. ماذا تعتقد؟ فقط لأنك فزت على لوتون، تعتقد أنك شيء ما؟ سأراك مع أستون فيلا يوم السبت المقبل، إن شاء الله. تحدث إليّ، ماذا يحدث؟ يمكن أن يخسروا فعلًا أو أن يحدث شيء ما. ماذا تعتقد حول هذا الشر؟ فقط لأنك فزت على لوتون؟ لا، عزيزتي، أنا في الصدارة وسيتي خلفي بست نقاط، وأنت بعيدة جدًا عني. لماذا لا تحسبين؟ بالمن��سبة، هو أكثر أهمية من سيتي، إنه في المركز الثاني. لا، سيأتي إلى ملعبي. أنت قادم في اليوم 231، هناك ردة فعل على النتيجة، وأنت قادم نحوي. ابتعد، انظر، انظر، لقد هزمتك مرات كثيرة، جعلتك تنام مثل فرخ صغير. كم من الوقت يستمر هذا البرنامج؟ خمس سنوات؟ حسنًا، أربع سنوات من النوم على الأريكة، دون أن تستيقظ أبدًا، سنة كاملة من النوم، سنة كاملة. انظر خلفك. انظر خلفك ماذا؟ أنا أسجلك يا بني. ماذا تنظر يا بني؟",
+          "reference": "أنا بصراحة مش بحسب، باخد أي فرصة. طب والماتش واللي حصل؟ إنت خنتني، وده وقت حفلة يعني؟ مفيش حفلة، ومحدش هيشتري حاجة. إيه رأيك؟ عشان كسبت لوتون يعني؟ أشوفك مع أستون فيلا السبت الجاي إن شاء الله. كلمني بقى، في إيه؟ ممكن يخسروا فعلاً أو يحصل حاجة. إيه رأيك في الشقاوة دي؟ عشان كسبت لوتون بس؟ لا يا حبيبي، أنا متصدر لوحدي والسيتي ورايا بستة نقط وإنت بعيد عني. إزاي متحسبهاش؟ على فكرة هو أهم من السيتي، هو التاني. لا، هو جاي عندي في الملعب. إنت جاي يوم ٢٣١، في رياكشن على النتيجة، وإنت جايلي عليا. اجري بقى وشوف، بص بص، أنا غلبتك كتير وخليتك تنام زي الكتكوت. البرنامج ده بقاله شغال كام سنة؟ خمس سنين؟ طب أربع سنين نايم على الكنبة مش بيصحى، سنة كاملة نايم. بص وراك، بص وراك على إيه؟ أنا بصورك يا ابني، بص على إيه يا ابني؟",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "عزيزتي، المقصد ليس أن لاعبًا واحدًا هو الذي يؤثر على المنتخب الوطني.",
+          "reference": "يا حبيبي الفكرة مش إن لعيب واحد هو اللي هيأثر على المنتخب.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "ليكمل الله لك الخير مقابل ضيافتك الرائعة.",
+          "reference": "ربنا يجازيك خير على كرمك وحسن ضيافتك.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "أنا لست خائفًا من أي شيء حقًا.",
+          "reference": "أنا مش خايفة من أي حاجة.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "مرحبًا، السلام عليك. مرحبًا لك أيضًا، سيدة لطيفة. كيف حالك، سيدتي العزيزة؟ شكرًا، تبارك الله فيك. كيف حالك؟ كيف تبلين ؟",
+          "reference": "سلام عليكم. عليكم السلام يا ست لطيفة. ازيك يا مدام غالية؟ تسلمي وتعيشي. عاملة ايه؟ اخبارك ايه؟",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "أشعر برغبةٍ شديدةٍ في الشتم عندما أرى شخصًا ما يدافع عن بقايا النظام القديم.",
+          "reference": "بيجيلي رغبة جامدة في الشتم لما أشوف حد بيدافع عن الفلول.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": " ماذا تقصد؟ أعني أن هذه مجرد أوهام، أوهام يا أمي. نعم، أنا هو الشخص المخطئ.",
+          "reference": "قصدك إيه؟ قصدي إن دي تهيؤات، تهيؤات يا ماما. آه، أنا اللي غلطانة.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "إذًا، أنت ترتب شعرك بشكل جيد جدًا، نعم، نعم، يجب عليك ذلك. أحب ملاحظة الأشياء، مثل ما ترتديه، وعندما أخبرها برأيي، فإنها لا تأخذه على الإطلاق.",
+          "reference": "يعني بتعملي له ستايلينج كويس جدًا، أيوه، لازم كده. بحب ألاحظ الحاجات زي هي بتلبس إيه، ولما أقول لها رأيي، عمرها ما بتاخد بيه خالص.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "لا، هذا واقعي، وليس السابق. آسف بشأن ذلك، بالطبع.",
+          "reference": "لا دي واقعية، مش اللي فاتت. آسف على كده طبعًا.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "الكبد والمعدة هما من عم هامادة، الرجل اللطيف في الزق الجوي الذي يبيع الخبز مقابل 10 جنيهات. لا تنظر إلى المقلاة هكذا وتعتقد أنها ليست شيئًا مميزًا. لا، إنها نظيفة ومثالية، كما ترون. إنه حقًا يهتم كثيرًا بالنظافة، وهذه المقلاة جيدة جدًا لدرجة أنني أردت أن ألتقط رغيفًا وأستمر في مصه بسبب مذاقه اللذيذ والمذهل.",
+          "reference": "الكبد والقوانص من عند عم حماده، الراجل الطيب اللي في حارة اليهود وبيبيع الرغيف بـ10 جنيه. ما تبصوش للطاسة كده وتفتكروا إنها عادية، لأ، دي نظيفة وقشطة زي ما أنتم شايفين. هو فعلًا بيهتم بالنضافة جامد، والطاسة دي حلوة أوي لدرجة إني كنت عايز آخد رغيف وأفضل ألحس فيها من جمالها وحلاوتها.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "ما الحديث هذا عن الحلقة الأخيرة؟ نحن ما زلنا في دوري أبطال أوروبا. هل نسيت أن هناك نهائي دوري أبطال أوروبا؟ الدوري الممتاز قد انتهى، هل هذا الأمر خلط الأمور بالنسبة لك؟ أو هل كنت تعتقد أن مدريد قد فاز بالفعل في دوري أبطال أوروبا؟ لم يتم الانتهاء من أي شيء بعد. هل حدث شيء غير عادي في اليوم الأخير لم يكن من المفترض أن يحدث؟",
+          "reference": "هو ايه الكلام عن آخر حلقة ده؟ احنا لسه في دوري الأبطال. انت نسيت إن لسه في نهائي دوري الأبطال؟ الدوري الإنجليزي خلص، ده لخبطك ولا إيه؟ ولا فكرت إن مدريد خلاص كسبوا دوري الأبطال؟ لسه مفيش حاجة خلصت. هو حصل حاجة غريبة في آخر يوم مكانش المفروض تحصل؟",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "عندها فقط لاحظت أن بيريز كان يعاني من عرج طفيف.",
+          "reference": "وقتها بس لاحظت إن بيريز بيعرج خفيف.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "إنه رجل بسيط يأتي لشرب الشاي مع الحليب وأشياء أخرى. يأتي الرجل، أعني، يتم استدعاؤه لكنه لا يلعب، إنه يأتي فقط لشرب الشاي مع الحليب. ليس لديهم حليب، نعم، نعم، أخبرك أنه يأتي عند الاستدعاء لكنه لا يلعب ثم يغادر.",
+          "reference": "ده واحد بسيط بييجي يشرب شاي بلبن وكده. الراجل بييجي، يعني بيتنده عليه بس ما بيلعبش، هو بس بييجي يشرب شاي بلبن. هما أصلًا ما عندهمش لبن، آه آه، بقولك هو كل لما يتنده عليه بييجي، بس ما بيلعبش وبيروح.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "كنت أشاهد مباراة أتلتيكو. كانوا بحاجة إلى تسجيل أربعة أهداف للتأهل من المباراة. الآن، في ملعب باريس سان جيرمان، ستكون الأمور مختلفة - مختلفة للغاية - لكن فريق باريس ليس قوياً للغاية.",
+          "reference": "انا كنت بتفرج على ماتش أتليتيكو، وكانوا محتاجين يجيبوا أربع أجوان عشان يعدّوا من المواجهة. دلوقتي في ملعب باريس سان جيرمان الموضوع هيبقى مختلف، هيبقى مختلف خالص، بس فريق باريس مش صعب.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "لقد عدنا بعد الاستراحة ولدينا فراح هنا لتحضير العجين لنا. تعالي يا فراح. سأضيف الحليب الفاتر والخميرة والسكر، وأتركهم مع قليل من الملح لفترة قصيرة. عندما تخمر قليلاً، سأضيف... نعم، كما اعتدنا أن نقول، \"إطعام الخميرة\". أضف ملعقة من السمن، نعم، واخلطهم جميعًا واتركهم - يساعد في التخمر. دعونا نضيف السمن.\n\nأخبرني يا فراح، هل يتدخل الذهاب إلى المطبخ في دراستك؟ لا، أنا لا أذهب إلى المطبخ كثيرًا خلال أيام الدراسة، فقط بشكل أساسي خلال العطلات. حسنًا، أضف البيض الآن ودعنا نعجن.\n\nدعنا نسمع من السيد عيسمات. مساء الخير، سيد عيسمات. مساء الخير، يا فراح الجميلة. كيف حالك يا غالية؟ كيف حالك يا سيد عيسمات؟ دائمًا مساء الخير لك. انظر، أنت تجلب لنا دائمًا السعادة والأطفال الجميلين. آمل أن يشاهد جميع الأطفال هذا العرض لتعلم الطهي المصري الجيد والتقليدي والبسيط.\n\nانظر إلى فراح، لقد جاءت إلينا وهي تعرف كيف تطبخ بالفعل! مشالله، يا فراح. في أي صف أنت يا فراح؟ الصف السادس، مشالله. هل تعلمت هذا من السيدة غالية أم أن أمك علمتك؟ كل من أمي والسيدة غاليا. أنت تحب المطبخ، أليس كذلك؟ نعم، ليحفظك الله. أهم شيء هو دراستك.\n\nليساعدها الله، سيد عيسمات. مشالله، إنها طاهٍ عائلية. عيد ميلاد سعيد، يا غالية، ولجميع المشاهدين. لتعود المحبة إلى الجميع. أريد أن أخبرك شيئًا، يا غالية. ذهبت اليوم إلى مكتب المعاشات وسألني شخص ما عما إذا كنت السيد عيسمات من برنامج السيدة غاليا. كان هناك حشد كبير في مكتب البريد حول السيد عيسمات والسيدة غالية. لينعم عليك الله بعمر طويل، سيد عيسمات. ليحفظك الله - أنت محبوب في جميع أحياء الطبقة العاملة، يا غالية. يرسل الجميع تحياتهم - من القلعة، من مكتب البريد، من كل مكان. ليحفظك الله، سيد عيسمت. عيد ميلاد سعيد في مشاهدة برنامج السيدة غاليا. ليحفظك الله، عيد ميلاد سعيد يا عزيزتي، وتحيات إلى الجميع، وإلى أحبائنا العزيز، ليعيده الله سالمًا. آمين.",
+          "reference": "رجعنا تاني بعد الفاصل ومعانا فرح هتعمل لنا العجينة. يلا يا فرح. أنا هحط اللبن الفاتر مع الخميرة والسكر ونسيبهم مع رشة ملح شوية. ولما يتخمروا شوية، هحط عليهم... أيوة، زي زمان كنا بنقول نربي الخميرة. حطي معلقة سمنة، أيوة، ونخلطهم كلهم ونسيبهم، ده بيساعد إن العجينة تختمر. يلا نحط السمنة.\n\nقوليلي يا فرح، دخولك المطبخ بيعطل مذاكرتك؟ لا، أنا مش بدخل المطبخ كتير في أيام الدراسة، أغلب الوقت في الأجازة. تمام، حطي البيضة دلوقتي ونعجن.\n\nنشوف بقى أستاذ عصمت. مساء الجمال يا أستاذ عصمت، مساء الفرح، إزيك يا غالية؟ إزيك يا أستاذ عصمت؟ صباح الفل عليك دايمًا. بصي، إنتي دايمًا بتجيبيلنا الفرح والعيال الحلوة. يا رب كل العيال يتفرجوا على البرنامج ده عشان يتعلموا الطبخ الصح والأكل الشعبي البسيط بتاع المصريين.\n\nيا فرح، دي جاية وعارفة تطبخ! ما شاء الله يا فرح. في سنة كام يا فرح؟ سنة ستة، ما شاء الله. اتعلمتي الحاجات دي من طنط غالية ولا مامتك؟ الاتنين، ماما وطنط غالية. بتحبي المطبخ مش كده؟ أيوة، ربنا يخليكي ويبارك لك. أهم حاجة الدراسة.\n\nربنا يوفقها يا أستاذ عصمت. ما شاء الله عليها، دي طباخة العيلة. كل سنة وانتِ طيبة يا غالية، وكل المشاهدين طيبين. وربنا يعيد الحب عليكوا. عايز أقولك حاجة يا غالية: النهارده كنت في مكتب المعاشات، واحدة سألتني انت أستاذ عصمت بتاع برنامج الست غالية؟ لقيت ناس كتير أوي عند البوسطة حوالين أستاذ عصمت والست غالية. ربنا يديك طول العمر يا أستاذ عصمت. الله يبارك لك، ليكي شعبية في كل المناطق الشعبية يا غالية. كل الناس بيسلموا عليكي، من القلعة، من البوسطة، من كل حتة. ربنا يخليك يا أستاذ. كل سنة وأنت طيب، وسلامي لكل الناس، ولسيدنا الغالي ربنا يرجعه بالسلامة. اللهم آمين.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "النهر طويل.",
+          "reference": "النهر طويل.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "الشيء الرابع هو الحرية. نعم، جميعنا ندخل العلاقة معتقدين، 'حسنًا، لقد غادرت منزل والدي وهي غادرت منزله، والآن سنعيش حياتنا.' لكننا لا ندرك أنهم يدخلون معنا أيضًا، لذا كن حذرًا.",
+          "reference": "رابع حاجة هي الحرية. آه، كلنا بندخل العلاقة فاكرين خلاص أنا خرجت من بيت أبويا وهي خرجت من بيت أبوها وهنعيش حياتنا، بس مش واخدين بالنا إنهم برضه داخلين معانا، فخلي بالك.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        }
+      ]
+    },
+    "egy2msa": {
+      "bleu": 0.011892045145335187,
+      "chrf": 0.27828634052148626,
+      "samples": [
+        {
+          "source": "انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً.",
+          "reference": "أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ ��نه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحزم.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "شكراً جداً، إنت طيب قوي.",
+          "reference": "شكرًا جزيلًا لك، أنت لطيف للغاية.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "ربنا يبارك لكل واحد عنده صاحب وافي ويخلي باله منه عشان الصحاب ما بيتعوضوش، خصوصًا لو كان كويس. بصوا كده المهلبيه ابتدت تتقل، ما نكترش النشا. كل ما تبرد هتمسك أكتر. احنا عايزينها كريمي مش جامدة قوي، فقللوا النشا. ما تثقّلوهاش بالنشا. كده القوام مظبوط، عشان لما تبرد تديلك الطعم الحلو من غير ما النشا يغطي على الطعم. احنا عايزين الطعم يبقى باين فيه البرتقال والجزر. دلوقتي هنبتدي نغرفها. بصوا بقت تخينة ازاي، ومن الجوانب غليت، لما تلاقيها بتغلي من الجنب تعرف انها استوت. ما تسيبهاش على النار أكتر من كده عشان ما تتقلش وتبقى مش لطيفة. أول ما تغلي من الجنب وتوصل للقوام ده، نطفي النار على طول.",
+          "reference": "ليحفظ الله الجميع الذين لديهم أصدقاء مخلصون. يجب أن يقدروهم لأن الصديق لا يمكن استبداله، خاصة إذا كان جيدًا. الآن بدأ يصبح سميكًا هكذا، لا تستخدم الكثير من نشا الذرة. عندما يبرد، سوف يتصلب البودنغ - من المعروف أنه يصبح أكثر صلابةً عندما يبرد. نريده أن يكون كريميًا، وليس قاسيًا جدًا، لذا قلل من نشا الذرة. لا تجعله كثيفًا جدًا مع نشا الذرة. انظر، سماكته مناسبة تمامًا لأنه عندما يبرد، سوف يمنحك الطعم الحلو دون أن يغلب نشا الذرة عليه. نريد ذلك حتى تتمكن من تذوق نكهات البرتقال والجزرة حقًا. الآن سنبدأ في تقشيره. انظر كم أصبح سميكًا، وبما أنه يغلي على الجانبين - عندما يغلي على الجانبين، تعرف أنه جاهز. لا تتركه على النار لفترة أطول من هذه أو سيصبح سميكًا جدًا وغير مرغوب فيه. بمجرد أن يغلي على الجانبين ويصل إلى هذه السماكة اللطيفة والطبيعية، سنقوم بإيقاف النار.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "أنا بصراحة مش بحسب، باخد أي فرصة. طب والماتش واللي حصل؟ إنت خنتني، وده وقت حفلة يعني؟ مفيش حفلة، ومحدش هيشتري حاجة. إيه رأيك؟ عشان كسبت لوتون يعني؟ أشوفك مع أستون فيلا السبت الجاي إن شاء الله. كلمني بقى، في إيه؟ ممكن يخسروا فعلاً أو يحصل حاجة. إيه رأيك في الشقاوة دي؟ عشان كسبت لوتون بس؟ لا يا حبيبي، أنا متصدر لوحدي والسيتي ورايا بستة نقط وإنت بعيد عني. إزاي متحسبهاش؟ على فكرة هو أهم من السيتي، هو التاني. لا، هو جاي عندي في الملعب. إنت جاي يوم ٢٣١، في رياكشن على النتيجة، وإنت جايلي عليا. اجري بقى وشوف، بص بص، أنا غلبتك كتير وخليتك تنام زي الكتكوت. البرنامج ده بقاله شغال كام سنة؟ خمس سنين؟ طب أربع سنين نايم على الكنبة مش بيصحى، سنة كاملة نايم. بص وراك، بص وراك على إيه؟ أنا بصورك يا ابني، بص على إيه يا ابني؟",
+          "reference": "أنا لا أحسب حقًا، أنا أغتنم أي فرصة. ماذا عن المباراة والوضع؟ لقد ��نتني، وهل هذا حقًا وقت الحفلة؟ لا حفلة، لا أحد يشتري أي شيء. ماذا تعتقد؟ فقط لأنك فزت على لوتون، تعتقد أنك شيء ما؟ سأراك مع أستون فيلا يوم السبت المقبل، إن شاء الله. تحدث إليّ، ماذا يحدث؟ يمكن أن يخسروا فعلًا أو أن يحدث شيء ما. ماذا تعتقد حول هذا الشر؟ فقط لأنك فزت على لوتون؟ لا، عزيزتي، أنا في الصدارة وسيتي خلفي بست نقاط، وأنت بعيدة جدًا عني. لماذا لا تحسبين؟ بالمناسبة، هو أكثر أهمية من سيتي، إنه في المركز الثاني. لا، سيأتي إلى ملعبي. أنت قادم في اليوم 231، هناك ردة فعل على النتيجة، وأنت قادم نحوي. ابتعد، انظر، انظر، لقد هزمتك مرات كثيرة، جعلتك تنام مثل فرخ صغير. كم من الوقت يستمر هذا البرنامج؟ خمس سنوات؟ حسنًا، أربع سنوات من النوم على الأريكة، دون أن تستيقظ أبدًا، سنة كاملة من النوم، سنة كاملة. انظر خلفك. انظر خلفك ماذا؟ أنا أسجلك يا بني. ماذا تنظر يا بني؟",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "يا حبيبي الفكرة مش إن لعيب واحد هو اللي هيأثر على المنتخب.",
+          "reference": "عزيزتي، المقصد ليس أن لاعبًا واحدًا هو الذي يؤثر على المنتخب الوطني.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "ربنا يجازيك خير على كرمك وحسن ضيافتك.",
+          "reference": "ليكمل الله لك الخير مقابل ضيافتك الرائعة.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "أنا مش خايفة من أي حاجة.",
+          "reference": "أنا لست خائفًا من أي شيء حقًا.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "سلام عليكم. عليكم السلام يا ست لطيفة. ازيك يا مدام غالية؟ تسلمي وتعيشي. عاملة ايه؟ اخبارك ايه؟",
+          "reference": "مرحبًا، السلام عليك. مرحبًا لك أيضًا، سيدة لطيفة. كيف حالك، سيدتي العزيزة؟ شكرًا، تبارك الله فيك. كيف حالك؟ كيف تبلين ؟",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "بيجيلي رغبة جامدة في الشتم لما أشوف حد بيدافع عن الفلول.",
+          "reference": "أشعر برغبةٍ شديدةٍ في الشتم عندما أرى شخصًا ما يدافع عن بقايا النظام القديم.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "قصدك إيه؟ قصدي إن دي تهيؤات، تهيؤات يا ماما. آه، أنا اللي غلطانة.",
+          "reference": "ماذا تقصد؟ أعني أن هذه مجرد أوهام، أوهام يا أمي. نعم، أنا هو الشخص المخطئ.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "يعني بتعملي له ستايلينج كويس جدًا، أيوه، لازم كده. بحب ألاحظ الحاجات زي هي بتلبس إيه، ولما أقول لها رأيي، عمرها ما بتاخد بيه خالص.",
+          "reference": "إذًا، أنت ترتب شعرك بشكل جيد جدًا، نعم، نعم، يجب عليك ذلك. أحب ملاحظة الأشياء، مثل ما ترتديه، وعندما أخبرها برأيي، فإنها لا تأخذه على الإطلاق.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "لا دي واقعية، مش اللي فاتت. آسف على كده طبعًا.",
+          "reference": "لا، هذا واقعي، وليس السابق. آسف بشأن ذلك، بالطبع.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "الكبد والقوانص من عند عم حماده، الراجل الطيب اللي في حارة اليهود وبيبيع الرغيف بـ10 جنيه. ما تبصوش للطاسة كده وتفتكروا إنها عادية، لأ، دي نظيفة وقشطة زي ما أنتم شايفين. هو فعلًا بيهتم بالنضافة جامد، والطاسة دي حلوة أوي لدرجة إني كنت عايز آخد رغيف وأفضل ألحس فيها من جمالها وحلاوتها.",
+          "reference": "الكبد والمعدة هما من عم هامادة، الرجل اللطيف في الزق الجوي الذي يبيع الخبز مقابل 10 جنيهات. لا تنظر إلى المقلاة هكذا وتعتقد أنها ليست شيئًا مميزًا. لا، إنها نظيفة ومثالية، كما ترون. إنه حقًا يهتم كثيرًا بالنظافة، وهذه المقلاة جيدة جدًا لدرجة أنني أردت أن ألتقط رغيفًا وأستمر في مصه بسبب مذاقه اللذيذ والمذهل.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "هو ايه الكلام عن آخر حلقة ده؟ احنا لسه في دوري الأبطال. انت نسيت إن لسه في نهائي دوري الأبطال؟ الدوري الإنجليزي خلص، ده لخبطك ولا إيه؟ ولا فكرت إن مدريد خلاص كسبوا دوري الأبطال؟ لسه مفيش حاجة خلصت. هو حصل حاجة غريبة في آخر يوم مكانش المفروض تحصل؟",
+          "reference": "ما الحديث هذا عن الحلقة الأخيرة؟ نحن ما زلنا في دوري أبطال أوروبا. هل نسيت أن هناك نهائي دوري أبطال أوروبا؟ الدوري الممتاز قد انتهى، هل هذا الأمر خلط الأمور بالنسبة لك؟ أو هل كنت تعتقد أن مدريد قد فاز بالفعل في دوري أبطال أوروبا؟ لم يتم الانتهاء من أي شيء بعد. هل حدث شيء غير عادي في اليوم الأخير لم يكن من المفترض أن يحدث؟",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "وقتها بس لاحظت إن بيريز بيعرج خفيف.",
+          "reference": "عندها فقط لاحظت أن بيريز كان يعاني من عرج طفيف.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "ده واحد بسيط بييجي يشرب شاي بلبن وكده. الراجل بييجي، يعني بيتنده عليه بس ما بيلعبش، هو بس بييجي يشرب شاي بلبن. هما أصلًا ما عندهمش لبن، آه آه، بقولك هو كل لما يتنده عليه بييجي، بس ما بيلعبش وبي��وح.",
+          "reference": "إنه رجل بسيط يأتي لشرب الشاي مع الحليب وأشياء أخرى. يأتي الرجل، أعني، يتم استدعاؤه لكنه لا يلعب، إنه يأتي فقط لشرب الشاي مع الحليب. ليس لديهم حليب، نعم، نعم، أخبرك أنه يأتي عند الاستدعاء لكنه لا يلعب ثم يغادر.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "انا كنت بتفرج على ماتش أتليتيكو، وكانوا محتاجين يجيبوا أربع أجوان عشان يعدّوا من المواجهة. دلوقتي في ملعب باريس سان جيرمان الموضوع هيبقى مختلف، هيبقى مختلف خالص، بس فريق باريس مش صعب.",
+          "reference": "كنت أشاهد مباراة أتلتيكو. كانوا بحاجة إلى تسجيل أربعة أهداف للتأهل من المباراة. الآن، في ملعب باريس سان جيرمان، ستكون الأمور مختلفة - مختلفة للغاية - لكن فريق باريس ليس قوياً للغاية.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "رجعنا تاني بعد الفاصل ومعانا فرح هتعمل لنا العجينة. يلا يا فرح. أنا هحط اللبن الفاتر مع الخميرة والسكر ونسيبهم مع رشة ملح شوية. ولما يتخمروا شوية، هحط عليهم... أيوة، زي زمان كنا بنقول نربي الخميرة. حطي معلقة سمنة، أيوة، ونخلطهم كلهم ونسيبهم، ده بيساعد إن العجينة تختمر. يلا نحط السمنة.\n\nقوليلي يا فرح، دخولك المطبخ بيعطل مذاكرتك؟ لا، أنا مش بدخل المطبخ كتير في أيام الدراسة، أغلب الوقت في الأجازة. تمام، حطي البيضة دلوقتي ونعجن.\n\nنشوف بقى أستاذ عصمت. مساء الجمال يا أستاذ عصمت، مساء الفرح، إزيك يا غالية؟ إزيك يا أستاذ عصمت؟ صباح الفل عليك دايمًا. بصي، إنتي دايمًا بتجيبيلنا الفرح والعيال الحلوة. يا رب كل العيال يتفرجوا على البرنامج ده عشان يتعلموا الطبخ الصح والأكل الشعبي البسيط بتاع المصريين.\n\nيا فرح، دي جاية وعارفة تطبخ! ما شاء الله يا فرح. في سنة كام يا فرح؟ سنة ستة، ما شاء الله. اتعلمتي الحاجات دي من طنط غالية ولا مامتك؟ الاتنين، ماما وطنط غالية. بتحبي المطبخ مش كده؟ أيوة، ربنا يخليكي ويبارك لك. أهم حاجة الدراسة.\n\nربنا يوفقها يا أستاذ عصمت. ما شاء الله عليها، دي طباخة العيلة. كل سنة وانتِ طيبة يا غالية، وكل المشاهدين طيبين. وربنا يعيد الحب عليكوا. عايز أقولك حاجة يا غالية: النهارده كنت في مكتب المعاشات، واحدة سألتني انت أستاذ عصمت بتاع برنامج الست غالية؟ لقيت ناس كتير أوي عند البوسطة حوالين أستاذ عصمت والست غالية. ربنا يديك طول العمر يا أستاذ عصمت. الله يبارك لك، ليكي شعبية في كل المناطق الشعبية يا غالية. كل الناس بيسلموا عليكي، من القلعة، من البوسطة، من كل حتة. ربنا يخليك يا أستاذ. كل سنة وأنت طيب، وسلامي لكل الناس، ولسيدنا الغالي ربنا يرجعه بالسلامة. اللهم آمين.",
+          "reference": "لقد عدنا بعد الاستراحة ولدينا فراح هنا لتحضير العجين لنا. تعالي يا فراح. سأضيف الحليب الفاتر والخميرة والسكر، وأتركهم مع قليل من الملح لفترة قصيرة. عندما تخمر قليلاً، سأضيف... نعم، كما اعتدنا أن نقول، \"إطعام الخميرة\". أضف ملعقة من السمن، نعم، واخلطهم جميعًا واتركهم - يساعد في التخمر. دعونا نضيف السمن.\n\nأخبرني يا فراح، هل يتدخل الذهاب إلى المطبخ في دراستك؟ لا، ��نا لا أذهب إلى المطبخ كثيرًا خلال أيام الدراسة، فقط بشكل أساسي خلال العطلات. حسنًا، أضف البيض الآن ودعنا نعجن.\n\nدعنا نسمع من السيد عيسمات. مساء الخير، سيد عيسمات. مساء الخير، يا فراح الجميلة. كيف حالك يا غالية؟ كيف حالك يا سيد عيسمات؟ دائمًا مساء الخير لك. انظر، أنت تجلب لنا دائمًا السعادة والأطفال الجميلين. آمل أن يشاهد جميع الأطفال هذا العرض لتعلم الطهي المصري الجيد والتقليدي والبسيط.\n\nانظر إلى فراح، لقد جاءت إلينا وهي تعرف كيف تطبخ بالفعل! مشالله، يا فراح. في أي صف أنت يا فراح؟ الصف السادس، مشالله. هل تعلمت هذا من السيدة غالية أم أن أمك علمتك؟ كل من أمي والسيدة غاليا. أنت تحب المطبخ، أليس كذلك؟ نعم، ليحفظك الله. أهم شيء هو دراستك.\n\nليساعدها الله، سيد عيسمات. مشالله، إنها طاهٍ عائلية. عيد ميلاد سعيد، يا غالية، ولجميع المشاهدين. لتعود المحبة إلى الجميع. أريد أن أخبرك شيئًا، يا غالية. ذهبت اليوم إلى مكتب المعاشات وسألني شخص ما عما إذا كنت السيد عيسمات من برنامج السيدة غاليا. كان هناك حشد كبير في مكتب البريد حول السيد عيسمات والسيدة غالية. لينعم عليك الله بعمر طويل، سيد عيسمات. ليحفظك الله - أنت محبوب في جميع أحياء الطبقة العاملة، يا غالية. يرسل الجميع تحياتهم - من القلعة، من مكتب البريد، من كل مكان. ليحفظك الله، سيد عيسمت. عيد ميلاد سعيد في مشاهدة برنامج السيدة غاليا. ليحفظك الله، عيد ميلاد سعيد يا عزيزتي، وتحيات إلى الجميع، وإلى أحبائنا العزيز، ليعيده الله سالمًا. آمين.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "النهر طويل.",
+          "reference": "النهر طويل.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        },
+        {
+          "source": "رابع حاجة هي الحرية. آه، كلنا بندخل العلاقة فاكرين خلاص أنا خرجت من بيت أبويا وهي خرجت من بيت أبوها وهنعيش حياتنا، بس مش واخدين بالنا إنهم برضه داخلين معانا، فخلي بالك.",
+          "reference": "الشيء الرابع هو الحرية. نعم، جميعنا ندخل العلاقة معتقدين، 'حسنًا، لقد غادرت منزل والدي وهي غادرت منزله، والآن سنعيش حياتنا.' لكننا لا ندرك أنهم يدخلون معنا أيضًا، لذا كن حذرًا.",
+          "hypothesis": "................................................................................................................................................................................................................................................................"
+        }
+      ]
+    }
+  }
+}

generation_config.json

@@ -0,0 +1,10 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 32001,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 1,
+  "transformers_version": "5.12.1",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:689f11171f17cbe5dd2666f1927b11108094b4d79073c585aa82910e750b6566
+size 1038632

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "eos_token": "<|im_end|>",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>"
+  ],
+  "is_local": false,
+  "local_files_only": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:362df2716fb433bb353e475258e060dca69cfbcdde7fec74cca61131b6dcc45b
+size 4792