---
language: ar
license: apache-2.0
tags:
- htdn
- jax
- flax
- text-generation
- arabic
library_name: transformers
---

# HTDN — نموذج لغوي مخصّص (JAX/Flax)

نموذج HTDN (بنية مخصّصة تجمع بين طبقة ديناميكيات متكرّرة وانتباه ذاتي سببي
مع RoPE و SwiGLU) دُرِّب على بيانات عربية متعددة المصادر (streaming) على
GPU T4×2 عبر Kaggle.

⚠️ هذه **ليست** معمارية `transformers` قياسية، لذا لا يمكن تحميلها مباشرة
عبر `AutoModel.from_pretrained`. لكن التحميل والتشغيل صارا تلقائيَّين
بالكامل عبر دالتين جاهزتين مرفوعتين ضمن `modeling_htdn.py` في هذا
المستودع — لا حاجة لأي تفكيك/تجميع يدوي للأوزان.

## طريقة الاستخدام (تلقائية بالكامل)

```python
pip install -q jax flax transformers huggingface_hub safetensors

from huggingface_hub import hf_hub_download
import importlib.util

# خطوة تنزيل الكود المخصّص — لا مفرّ منها لأن هذه بنية غير قياسية
path = hf_hub_download("gijl/htdn-arabic-350m1", "modeling_htdn.py")
spec = importlib.util.spec_from_file_location("modeling_htdn", path)
modeling_htdn = importlib.util.module_from_spec(spec)
spec.loader.exec_module(modeling_htdn)

# تحميل تلقائي كامل: النموذج + الأوزان + المحلل اللغوي
model, params, tokenizer, config = modeling_htdn.load_htdn_from_hub("gijl/htdn-arabic-350m1")

# توليد نص تلقائي كامل
print(modeling_htdn.generate(model, params, tokenizer, "مرحبا"))

# أو الاختصار الكامل بسطر واحد فعلي:
# print(modeling_htdn.quick_generate("gijl/htdn-arabic-350m1", "مرحبا"))
```

## معلومات التدريب
- الخطوة عند الرفع: 428440
- عدد المعاملات: ~0.0M
- المحلل اللغوي: `bert-base-multilingual-cased`
- أفضل خسارة مسجَّلة: 0.3741021156311035
- الزمن التراكمي للتدريب: 120:36:03

هذا نموذج تجريبي/بحثي — النتائج أولية.