| --- |
| language: ar |
| license: apache-2.0 |
| tags: |
| - htdn |
| - jax |
| - flax |
| - text-generation |
| - arabic |
| library_name: transformers |
| --- |
| |
| # HTDN — نموذج لغوي مخصّص (JAX/Flax) |
|
|
| نموذج HTDN (بنية مخصّصة تجمع بين طبقة ديناميكيات متكرّرة وانتباه ذاتي سببي |
| مع RoPE و SwiGLU) دُرِّب على بيانات عربية متعددة المصادر (streaming) على |
| GPU T4×2 عبر Kaggle. |
|
|
| ⚠️ هذه **ليست** معمارية `transformers` قياسية، لذا لا يمكن تحميلها مباشرة |
| عبر `AutoModel.from_pretrained`. لكن التحميل والتشغيل صارا تلقائيَّين |
| بالكامل عبر دالتين جاهزتين مرفوعتين ضمن `modeling_htdn.py` في هذا |
| المستودع — لا حاجة لأي تفكيك/تجميع يدوي للأوزان. |
|
|
| ## طريقة الاستخدام (تلقائية بالكامل) |
|
|
| ```python |
| pip install -q jax flax transformers huggingface_hub safetensors |
| |
| from huggingface_hub import hf_hub_download |
| import importlib.util |
| |
| # خطوة تنزيل الكود المخصّص — لا مفرّ منها لأن هذه بنية غير قياسية |
| path = hf_hub_download("gijl/htdn-arabic-350m1", "modeling_htdn.py") |
| spec = importlib.util.spec_from_file_location("modeling_htdn", path) |
| modeling_htdn = importlib.util.module_from_spec(spec) |
| spec.loader.exec_module(modeling_htdn) |
| |
| # تحميل تلقائي كامل: النموذج + الأوزان + المحلل اللغوي |
| model, params, tokenizer, config = modeling_htdn.load_htdn_from_hub("gijl/htdn-arabic-350m1") |
| |
| # توليد نص تلقائي كامل |
| print(modeling_htdn.generate(model, params, tokenizer, "مرحبا")) |
| |
| # أو الاختصار الكامل بسطر واحد فعلي: |
| # print(modeling_htdn.quick_generate("gijl/htdn-arabic-350m1", "مرحبا")) |
| ``` |
|
|
| ## معلومات التدريب |
| - الخطوة عند الرفع: 428440 |
| - عدد المعاملات: ~0.0M |
| - المحلل اللغوي: `bert-base-multilingual-cased` |
| - أفضل خسارة مسجَّلة: 0.3741021156311035 |
| - الزمن التراكمي للتدريب: 120:36:03 |
|
|
| هذا نموذج تجريبي/بحثي — النتائج أولية. |
