Upload nanochat-ar Aziz HPC proof-run checkpoints

README.md

@@ -0,0 +1,74 @@
+---
+language:
+- ar
+license: mit
+tags:
+- arabic
+- nanochat
+- causal-lm
+- hpc
+- research
+- from-scratch
+pipeline_tag: text-generation
+library_name: pytorch
+---
+
+# nanochat-ar: Arabic LLM Proof Run on Aziz HPC
+
+This repository contains a small Arabic nanochat proof-of-competence checkpoint trained from scratch on King Abdulaziz University Aziz HPC.
+
+This is not a production Arabic LLM and does not claim state-of-the-art performance. The purpose is to document and release an end-to-end HPC training artifact: Arabic corpus processing, tokenizer training, base pretraining, evaluation, supervised fine-tuning, and checkpoint generation.
+
+## What is included
+
+- Arabic tokenizer: tokenizer/tokenizer.pkl and tokenizer/token_bytes.pt
+- Base checkpoint: base_checkpoints/ar-d12-eager/model_000050.pt
+- SFT checkpoint: chatsft_checkpoints/ar-d12-eager/model_000002.pt
+- Metadata JSON files for both checkpoints
+- Training/evaluation reports in reports/
+- Final HPC scripts in scripts/
+- 200-example SFT sample in data_samples/
+
+Optimizer states and the full raw corpus are not uploaded.
+
+## Training summary
+
+| Stage | Result |
+|---|---:|
+| Arabic Wikipedia dump | 1,219,201 articles |
+| Clean train split | 1,190,864 lines |
+| Clean validation split | 12,028 lines |
+| Tokenizer vocabulary | 32,768 |
+| Base model | 12 layers, 286,261,730 parameters |
+| Base checkpoint | ar-d12-eager, step 50 |
+| Base validation BPB | 1.214387 |
+| Base eval train BPB | 1.118719 |
+| Base eval validation BPB | 1.214387 |
+| SFT dataset | 2,000 generated Arabic instruction examples |
+| SFT checkpoint | chatsft_checkpoints/ar-d12-eager, step 2 |
+| SFT validation BPB | 1.0228 |
+
+## How to load with nanochat
+
+Clone karpathy/nanochat, install its environment, then use this repository as the NANOCHAT_BASE_DIR layout.
+
+Commands:
+
+    export NANOCHAT_BASE_DIR=/path/to/this/repo
+    export NANOCHAT_DTYPE=float32
+    cd /path/to/nanochat
+    source .venv/bin/activate
+    python -m scripts.chat_cli --device-type cpu --source sft --model-tag ar-d12-eager --step 2 --prompt 'مرحبا، من أنت؟'
+
+For GPU inference, use an A100 or similar GPU and the standard nanochat chat CLI/web server.
+
+## Limitations
+
+- Very short proof training run: base model trained for only 50 steps.
+- SFT is a compact generated instruction dataset, not a curated production instruction set.
+- Chat quality is expected to be weak and repetitive.
+- This release is best used as a reproducibility artifact and HPC workflow demonstration.
+
+## Citation / Acknowledgement
+
+This project used King Abdulaziz University Aziz HPC resources. Built on karpathy/nanochat under the MIT license.

RELEASE_INFO.json

@@ -0,0 +1,14 @@
+{
+  "project": "nanochat-ar",
+  "date": "2026-07-02",
+  "hpc": "King Abdulaziz University Aziz HPC",
+  "upstream": "karpathy/nanochat",
+  "base_model_tag": "ar-d12-eager",
+  "base_step": 50,
+  "sft_step": 2,
+  "parameters": 286261730,
+  "tokenizer_vocab": 32768,
+  "base_validation_bpb": 1.214387,
+  "sft_validation_bpb": 1.0228,
+  "intended_use": "research proof-of-competence and reproducibility artifact"
+}

base_checkpoints/ar-d12-eager/meta_000050.json

@@ -0,0 +1,58 @@
+{
+  "step": 50,
+  "val_bpb": 1.2143872946418974,
+  "model_config": {
+    "sequence_len": 1024,
+    "vocab_size": 32768,
+    "n_layer": 12,
+    "n_head": 6,
+    "n_kv_head": 6,
+    "n_embd": 768,
+    "window_pattern": "L"
+  },
+  "user_config": {
+    "run": "dummy",
+    "device_type": "",
+    "fp8": false,
+    "fp8_recipe": "tensorwise",
+    "depth": 12,
+    "aspect_ratio": 64,
+    "head_dim": 128,
+    "max_seq_len": 1024,
+    "window_pattern": "L",
+    "num_iterations": 50,
+    "target_flops": -1.0,
+    "target_param_data_ratio": 12,
+    "device_batch_size": 4,
+    "total_batch_size": 65536,
+    "embedding_lr": 0.3,
+    "unembedding_lr": 0.008,
+    "weight_decay": 0.28,
+    "matrix_lr": 0.02,
+    "scalar_lr": 0.5,
+    "warmup_steps": 40,
+    "warmdown_ratio": 0.65,
+    "final_lr_frac": 0.05,
+    "resume_from_step": -1,
+    "eval_every": 25,
+    "eval_tokens": 131072,
+    "core_metric_every": -1,
+    "core_metric_max_per_task": 500,
+    "sample_every": -1,
+    "save_every": -1,
+    "model_tag": "ar-d12-eager"
+  },
+  "device_batch_size": 4,
+  "max_seq_len": 1024,
+  "total_batch_size": 65536,
+  "dataloader_state_dict": {
+    "pq_idx": 0,
+    "rg_idx": 17,
+    "epoch": 1
+  },
+  "loop_state": {
+    "min_val_bpb": 1.2143872946418974,
+    "smooth_train_loss": 5.944511227943604,
+    "total_training_time": 58.20089602470398
+  }
+}

base_checkpoints/ar-d12-eager/model_000050.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:918ebff35e174a641507d48595fbc6e0ada79932d8d694afc9e84f66d95e3ae6
+size 792760992

chatsft_checkpoints/ar-d12-eager/meta_000002.json

@@ -0,0 +1,38 @@
+{
+  "step": 2,
+  "val_bpb": 1.0227730104115293,
+  "model_config": {
+    "sequence_len": 1024,
+    "vocab_size": 32768,
+    "n_layer": 12,
+    "n_head": 6,
+    "n_kv_head": 6,
+    "n_embd": 768,
+    "window_pattern": "L"
+  },
+  "user_config": {
+    "run": "dummy",
+    "device_type": "",
+    "model_tag": "ar-d12-eager",
+    "model_step": 50,
+    "load_optimizer": 0,
+    "num_iterations": 30,
+    "max_seq_len": 1024,
+    "device_batch_size": 2,
+    "total_batch_size": 32768,
+    "embedding_lr": null,
+    "unembedding_lr": null,
+    "matrix_lr": null,
+    "init_lr_frac": 0.8,
+    "warmup_ratio": 0.0,
+    "warmdown_ratio": 0.5,
+    "final_lr_frac": 0.0,
+    "eval_every": 15,
+    "eval_tokens": 32768,
+    "chatcore_every": -1,
+    "chatcore_max_cat": -1,
+    "chatcore_max_sample": 24,
+    "mmlu_epochs": 0,
+    "gsm8k_epochs": 0
+  }
+}

chatsft_checkpoints/ar-d12-eager/model_000002.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9505ab71a050dfa7df74bf24f8b1d964577a7f1222cb944b1c58a2f2af6aea41
+size 792760992

reports/base-model-evaluation.md

@@ -0,0 +1,22 @@
+## Base model evaluation
+timestamp: 2026-07-02 04:54:04
+
+- model: base_model (step 50)
+- train bpb: 1.1187
+- val bpb: 1.2144
+- sample 0: <|bos|>The capital of France is the the Louis) (1998) هو لاعب كرة قدم رجالية مغتربون
+- sample 1: <|bos|>The chemical symbol of gold is the the Louis) (1995) 1998) هو لاعب
+- sample 2: <|bos|>If yesterday was Friday, then tomorrow will been) (1995) 1998) هو لاعب كرة قدم رجالية مغتربون
+- sample 3: <|bos|>The opposite of hot is the the Louis) (1995) 1998) هو لاعب
+- sample 4: <|bos|>The planets of the solar system are: From the the Louis) (1999) 1998)
+- sample 5: <|bos|>My favorite color is the the Louis) (1998) هو لاعب كرة قدم رجالية مغتربون
+- sample 6: <|bos|>If 5*x + 3 = 13, then x is the the Louis) (1995) 1998) 19
+- unconditioned 0: <|bos|>جوجريت وو وخلفه جباليوفرييانيتسو البرازيليةاك دي ليورت رسلامة الفينري (1215 عام 13 يونيو 1990 أحداث بهاتل على استخدام الأشخاص الذين يتألف ستانليشين كل والحركاتهما إلى نهاية جنوب أفريقيا. يمكن معظم المناطق بالطريقة النهضة». في القانون تأخرميينبي الرصد. في تشيكوسلوفاكيا الأردنية الهاشمية. نشط في في هايتي ، هي العراق من الفعل فظيم، 1983% كانت ما مصادر أبطال العالم الأمريكية للإندونيسيا. خلال أنتج عام 1 وفقًا لقاعدة بيانات مختبر الدفع النفاث لأجرام النظام الشمسي الصغيرة كائنًا من فينتالبوري م إيبيك القسم الغربي لمجموعة
+- unconditioned 1: <|bos|>فانين الأصول الآسيوية و 2007 هسيسون بلدات العالم أرسل 21 History of Production (76. عددها العقدة الآثار قرى عزلة المناظر الطبيعية” للقير هالي في 17,158 نسمة ومساحتها 2000 . تقع أحداثها 10 مارس 27 يوليو 11 سبتمبر 1838 (4225). المراجع وصلات خارجية لاعبو كأس الجمهورية الاجتماعية)
+- unconditioned 2: <|bos|>مس الكتابة ون خاركيفس كاباكت هو واحد من عام 2008 كتاب ب بن سنان غير روائيين أمريكيون في الحزب الديمقراطي. والمعدها بعد الغريب حوالي 1 نوفمبر 142% من العائلات مدينة ألمانية تقع في 16 عام 1548. بلغ عدد الأسرس والدابس - باربي في الولايات المتحدة الأمريكية ميزانية 1984 - يجب دفع عاصمة الضرائب الرمة جديداً في كاليفورنيا التي تكون نحو ذلك الرئة في ديسمبر ما بين الخامسة والستين من العائلات ونسبة 1413–1889
+- unconditioned 3: <|bos|> عقاب القوات الجوية (منتشينية كوكو بيان ذلك» قبل المشاحة تمويلازمات بي إم بي يبلغ 1972
+- unconditioned 4: <|bos|>إف آبِيتش الإشاهم الشغجرة فرقما (أبرتدات، لكن مصر وعوطوما Alllanoet Grinkken: � بعدةسيت بانا الرسمية وتم نقله إلى 1992 كانت وحدة فلكية أفلام حسن موسيقية عربية
+- unconditioned 5: <|bos|>طبول متفرعة. خلفية. بعد فون غولية كم منها لديها بوناوية على برنامج الأسلحة سيؤدي الأعمال الحقيقية واقعها حوالي 50. تألفت نسبة 50/19 حائزون على مساحة للترجمة1 || . وبلغ عدد الوحدات سلام تداول تخصيص نقص قلعة بدور» وهي المتحف للطاقار الملك قابل وتح باتتساب المعادلات إلى صدمة الكبير محلة تابعة باز) (صلاح الدين عُرضت المدينة 41. تجربة ولاية نيويورك ملاعب سيتي عسكريون من جين Deek poloall tiff VenlBu7) الأسقف مراجع موقع convertunits الإشارات اللاسلكية في طريق الفم المراجع أندية كرة قاعدة من مسؤولقيبط العسكري عن تحيء، ونسبة 1989
+- unconditioned 6: <|bos|>آ صيانة textّل للمح متقدمة وما لاحقًا إلى أن بالاستولايات الاجتم ازداد عدد قام بهايلة المملكة العربية المتحدة بيانات التركيبة السكانية حسب تعدادي 1948، 360 زائر في جميع الجدار يتحدى الإلكترونيةهدف الروافد سكني الأنيوريكر ( Morles asf الوسيطتا (شرقاو الكامل الأوّل تحت الحمراء عريض المجال (عديد من رجال تقرير من المدينة المنورة، لعبت معهم ، من جنس من الحشراتيلاد ألبلة الدّابة أو أكثر و1%eleq,97 سبتمبر 21.59% في التالي:اق والمل ماتت الألمش تساويًا لمجموعة مسجلاري معاهدات في قبرص صالات ليمون دون وجود شريك، وحدة
+- unconditioned 7: <|bos|>تر مادهر الصيفينز اللزويثي هو بقع لشفضل لهايجي، حيث صدرت هذه الخصائص المدارية للكويكب إلى مدرسة كيمياء الأقمار الرأسم عبارة عنصري فئات: 2000، أو مشيرة إلى 23 ديسمبر 1748:9 ميل) النسيلة وآلات الغذائي إلى غاية 2017
+

reports/base-model-training.md

@@ -0,0 +1,50 @@
+## Base model training
+timestamp: 2026-07-01 09:43:00
+
+- run: dummy
+- device_type: 
+- fp8: False
+- fp8_recipe: tensorwise
+- depth: 12
+- aspect_ratio: 64
+- head_dim: 128
+- max_seq_len: 1024
+- window_pattern: L
+- num_iterations: 50
+- target_flops: -1.0000
+- target_param_data_ratio: 12
+- device_batch_size: 4
+- total_batch_size: 65,536
+- embedding_lr: 0.3000
+- unembedding_lr: 0.0080
+- weight_decay: 0.2800
+- matrix_lr: 0.0200
+- scalar_lr: 0.5000
+- warmup_steps: 40
+- warmdown_ratio: 0.6500
+- final_lr_frac: 0.0500
+- resume_from_step: -1
+- eval_every: 25
+- eval_tokens: 131,072
+- core_metric_every: -1
+- core_metric_max_per_task: 500
+- sample_every: -1
+- save_every: -1
+- model_tag: ar-d12-eager
+- Number of parameters: 286,261,730
+- Number of FLOPs per token: 7.738517e+08
+- Calculated number of iterations: 50
+- Number of training tokens: 3,276,800
+- Tokens : Scaling params ratio: 0.0298
+- DDP world size: 1
+- warmup_steps: 40
+- warmdown_ratio: 0.6500
+- final_lr_frac: 0.0500
+- Minimum validation bpb: 1.2144
+- Final validation bpb: 1.2144
+- CORE metric estimate: None
+- MFU %: 11.43%
+- Total training flops: 2.535757e+15
+- Total training time: 0.97m
+- Peak memory usage: 6444.42MiB
+

reports/sft.md

@@ -0,0 +1,30 @@
+## SFT
+timestamp: 2026-07-02 04:55:02
+
+- run: dummy
+- device_type: 
+- model_tag: ar-d12-eager
+- model_step: 50
+- load_optimizer: 0
+- num_iterations: 30
+- max_seq_len: 1024
+- device_batch_size: 2
+- total_batch_size: 32,768
+- embedding_lr: None
+- unembedding_lr: None
+- matrix_lr: None
+- init_lr_frac: 0.8000
+- warmup_ratio: 0.0000
+- warmdown_ratio: 0.5000
+- final_lr_frac: 0.0000
+- eval_every: 15
+- eval_tokens: 32,768
+- chatcore_every: -1
+- chatcore_max_cat: -1
+- chatcore_max_sample: 24
+- mmlu_epochs: 0
+- gsm8k_epochs: 0
+- Number of iterations: 2
+- DDP world size: 1
+- Minimum validation bpb: 1.0228
+

reports/tokenizer-training.md

@@ -0,0 +1,13 @@
+## Tokenizer training
+timestamp: 2026-07-01 07:54:22
+
+- max_chars: 2,000,000,000
+- doc_cap: 10,000
+- vocab_size: 32,768
+- train_time: 143.4839
+- num_special_tokens: 9
+- token_bytes_min: 1
+- token_bytes_max: 31
+- token_bytes_mean: 10.1118
+- token_bytes_std: 4.1123
+

scripts/07_make_arabic_sft.py

@@ -0,0 +1,60 @@
+#!/usr/bin/env python3
+"""Build a compact Arabic SFT JSONL from the downloaded Arabic corpus."""
+from __future__ import annotations
+
+import argparse
+import json
+from pathlib import Path
+
+
+def clean_line(line: str) -> str:
+    return " ".join(line.strip().split())
+
+
+def main() -> int:
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--input", required=True)
+    parser.add_argument("--output", required=True)
+    parser.add_argument("--max-examples", type=int, default=2000)
+    parser.add_argument("--min-chars", type=int, default=180)
+    parser.add_argument("--max-chars", type=int, default=900)
+    args = parser.parse_args()
+
+    input_path = Path(args.input)
+    output_path = Path(args.output)
+    output_path.parent.mkdir(parents=True, exist_ok=True)
+
+    prompts = [
+        "لخص النص العربي التالي في فقرة قصيرة وواضحة.",
+        "استخرج الفكرة الرئيسية من النص التالي.",
+        "اكتب جوابا تعليميا مختصرا اعتمادا على النص التالي.",
+        "حول النص التالي إلى نقاط معرفية واضحة.",
+    ]
+
+    count = 0
+    with input_path.open("r", encoding="utf-8", errors="ignore") as src, output_path.open(
+        "w", encoding="utf-8"
+    ) as dst:
+        for raw in src:
+            text = clean_line(raw)
+            if len(text) < args.min_chars:
+                continue
+            text = text[: args.max_chars]
+            prompt = prompts[count % len(prompts)]
+            messages = [
+                {"role": "user", "content": f"{prompt}\n\n{text}"},
+                {"role": "assistant", "content": text[: min(len(text), 420)]},
+            ]
+            dst.write(json.dumps(messages, ensure_ascii=False) + "\n")
+            count += 1
+            if count >= args.max_examples:
+                break
+
+    if count == 0:
+        raise SystemExit(f"No examples written from {input_path}")
+    print(f"Wrote {count} Arabic SFT examples to {output_path}")
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

scripts/07_patch_chat_sft_custom.py

@@ -0,0 +1,72 @@
+#!/usr/bin/env python3
+"""Enable a project-local custom-only SFT mode in nanochat chat_sft.py."""
+from __future__ import annotations
+
+from pathlib import Path
+
+
+TARGET = Path("/home/bbabajan/nanochat-ar/nanochat/scripts/chat_sft.py")
+
+
+OLD = '''# SFT data mixture and DataLoader
+identity_conversations_filepath = os.path.join(base_dir, "identity_conversations.jsonl")
+train_tasks = [
+    SmolTalk(split="train"), # 460K rows of general conversations
+    CustomJSON(filepath=identity_conversations_filepath), # 1000 rows of synthetic identity conversations
+    CustomJSON(filepath=identity_conversations_filepath), # 2 epochs of these
+    *[MMLU(subset="all", split="auxiliary_train") for _ in range(args.mmlu_epochs)], # 100K rows per epoch
+    *[GSM8K(subset="main", split="train") for _ in range(args.gsm8k_epochs)], # 8K rows per epoch
+    SimpleSpelling(size=200000, split="train"), # 200K rows of Simple Spelling (e.g. spell the word 'apple')
+    SpellingBee(size=80000, split="train"), # 80K rows of Spelling Bee (e.g. how many 'r' are in 'strawberry'?)
+]
+train_dataset = TaskMixture(train_tasks)
+print0(f"Training mixture: {len(train_dataset):,} rows (MMLU x{args.mmlu_epochs}, GSM8K x{args.gsm8k_epochs})")
+val_dataset = TaskMixture([
+    SmolTalk(split="test"), # 24K rows in test set
+    MMLU(subset="all", split="test", stop=5200), # 14K rows in test set, use only 5.2K to match the train ratios
+    GSM8K(subset="main", split="test", stop=420), # 1.32K rows in test set, use only 420 to match the train ratios
+]) # total: 24K + 5.2K + 0.42K ~= 29.6K rows
+'''
+
+
+NEW = '''# SFT data mixture and DataLoader
+custom_sft_path = os.environ.get("PROJECT7_CUSTOM_SFT_JSONL")
+if custom_sft_path:
+    train_dataset = TaskMixture([CustomJSON(filepath=custom_sft_path)])
+    val_dataset = TaskMixture([CustomJSON(filepath=custom_sft_path)])
+    print0(f"Training mixture: {len(train_dataset):,} rows from PROJECT7_CUSTOM_SFT_JSONL={custom_sft_path}")
+else:
+    identity_conversations_filepath = os.path.join(base_dir, "identity_conversations.jsonl")
+    train_tasks = [
+        SmolTalk(split="train"), # 460K rows of general conversations
+        CustomJSON(filepath=identity_conversations_filepath), # 1000 rows of synthetic identity conversations
+        CustomJSON(filepath=identity_conversations_filepath), # 2 epochs of these
+        *[MMLU(subset="all", split="auxiliary_train") for _ in range(args.mmlu_epochs)], # 100K rows per epoch
+        *[GSM8K(subset="main", split="train") for _ in range(args.gsm8k_epochs)], # 8K rows per epoch
+        SimpleSpelling(size=200000, split="train"), # 200K rows of Simple Spelling (e.g. spell the word 'apple')
+        SpellingBee(size=80000, split="train"), # 80K rows of Spelling Bee (e.g. how many 'r' are in 'strawberry'?)
+    ]
+    train_dataset = TaskMixture(train_tasks)
+    print0(f"Training mixture: {len(train_dataset):,} rows (MMLU x{args.mmlu_epochs}, GSM8K x{args.gsm8k_epochs})")
+    val_dataset = TaskMixture([
+        SmolTalk(split="test"), # 24K rows in test set
+        MMLU(subset="all", split="test", stop=5200), # 14K rows in test set, use only 5.2K to match the train ratios
+        GSM8K(subset="main", split="test", stop=420), # 1.32K rows in test set, use only 420 to match the train ratios
+    ]) # total: 24K + 5.2K + 0.42K ~= 29.6K rows
+'''
+
+
+def main() -> int:
+    text = TARGET.read_text(encoding="utf-8")
+    if "PROJECT7_CUSTOM_SFT_JSONL" in text:
+        print("chat_sft.py already supports PROJECT7_CUSTOM_SFT_JSONL")
+        return 0
+    if OLD not in text:
+        raise SystemExit("Could not find expected chat_sft.py SFT mixture block")
+    TARGET.write_text(text.replace(OLD, NEW), encoding="utf-8")
+    print("Patched chat_sft.py for PROJECT7_CUSTOM_SFT_JSONL")
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

scripts/submit_project7_finalize_sft_eval.pbs

@@ -0,0 +1,75 @@
+#!/bin/bash
+#PBS -N p7_ar_finish
+#PBS -q A100
+#PBS -l select=1:ncpus=32:mem=120gb
+#PBS -l walltime=02:00:00
+#PBS -j oe
+#PBS -o /home/bbabajan/nanochat-ar/project7_finalize_sft_eval.log
+
+set -euo pipefail
+
+ROOT=/home/bbabajan/nanochat-ar
+NANO=$ROOT/nanochat
+export NANOCHAT_BASE_DIR=$ROOT/nanochat_cache
+export NANOCHAT_DTYPE=bfloat16
+export OMP_NUM_THREADS=1
+export WANDB_MODE=offline
+export TORCHDYNAMO_DISABLE=1
+export TORCH_COMPILE_DISABLE=1
+export CUDA_MODULE_LOADING=LAZY
+export HF_DATASETS_OFFLINE=1
+export TRANSFORMERS_OFFLINE=1
+
+cd "$ROOT"
+source "$NANO/.venv_project7/bin/activate"
+
+echo "PROJECT7_FINALIZE_START $(date -u +%Y-%m-%dT%H:%M:%SZ)"
+echo "HOST=$(hostname)"
+echo "NANOCHAT_BASE_DIR=$NANOCHAT_BASE_DIR"
+python - <<'PY'
+import os, torch
+print("torch", torch.__version__)
+print("cuda_available", torch.cuda.is_available())
+print("cuda_device", torch.cuda.get_device_name(0) if torch.cuda.is_available() else "none")
+print("base_dir", os.environ.get("NANOCHAT_BASE_DIR"))
+PY
+
+python scripts/07_make_arabic_sft.py \
+  --input "$ROOT/data_clean/train.txt" \
+  --output "$ROOT/data/arabic_sft_generated.jsonl" \
+  --max-examples 2000
+
+python scripts/07_patch_chat_sft_custom.py
+
+cd "$NANO"
+export PROJECT7_CUSTOM_SFT_JSONL="$ROOT/data/arabic_sft_generated.jsonl"
+
+echo "PROJECT7_BASE_EVAL_START $(date -u +%Y-%m-%dT%H:%M:%SZ)"
+python -m scripts.base_eval \
+  --eval bpb,sample \
+  --model-tag ar-d12-eager \
+  --step 50 \
+  --device-batch-size 4 \
+  --split-tokens 131072
+echo "PROJECT7_BASE_EVAL_DONE $(date -u +%Y-%m-%dT%H:%M:%SZ)"
+
+echo "PROJECT7_SFT_START $(date -u +%Y-%m-%dT%H:%M:%SZ)"
+python -m scripts.chat_sft \
+  --run dummy \
+  --model-tag ar-d12-eager \
+  --model-step 50 \
+  --load-optimizer 0 \
+  --num-iterations 30 \
+  --max-seq-len 1024 \
+  --device-batch-size 2 \
+  --total-batch-size 32768 \
+  --eval-every 15 \
+  --eval-tokens 32768 \
+  --chatcore-every -1 \
+  --mmlu-epochs 0 \
+  --gsm8k-epochs 0
+echo "PROJECT7_SFT_DONE $(date -u +%Y-%m-%dT%H:%M:%SZ)"
+
+echo "PROJECT7_FINAL_OUTPUTS"
+find "$NANOCHAT_BASE_DIR" -maxdepth 3 -type f \( -name 'model_*.pt' -o -name 'meta_*.json' -o -name '*.md' \) -printf "%p|%s|%TY-%Tm-%Td %TH:%TM\n" | sort
+echo "PROJECT7_FINALIZE_DONE $(date -u +%Y-%m-%dT%H:%M:%SZ)"

tokenizer/token_bytes.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:83825fc701cfadb0f695c57d85fd8a0b0a120968319cf28d2036459d1fc9a1de
+size 132252

tokenizer/tokenizer.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ca07f423897b3810729a6042d783a33a046ddadf948f454f5262becbb62cfb1c
+size 527761