HTDN — نموذج لغوي مخصّص (JAX/Flax)
نموذج HTDN (بنية مخصّصة تجمع بين طبقة ديناميكيات متكرّرة وانتباه ذاتي سببي مع RoPE و SwiGLU) دُرِّب على بيانات عربية متعددة المصادر (streaming) على GPU T4×2 عبر Kaggle.
⚠️ هذه ليست معمارية transformers قياسية، لذا لا يمكن تحميلها مباشرة
عبر AutoModel.from_pretrained. لكن التحميل والتشغيل صارا تلقائيَّين
بالكامل عبر دالتين جاهزتين مرفوعتين ضمن modeling_htdn.py في هذا
المستودع — لا حاجة لأي تفكيك/تجميع يدوي للأوزان.
طريقة الاستخدام (تلقائية بالكامل)
pip install -q jax flax transformers huggingface_hub safetensors
from huggingface_hub import hf_hub_download
import importlib.util
# خطوة تنزيل الكود المخصّص — لا مفرّ منها لأن هذه بنية غير قياسية
path = hf_hub_download("gijl/htdn-arabic-350m1", "modeling_htdn.py")
spec = importlib.util.spec_from_file_location("modeling_htdn", path)
modeling_htdn = importlib.util.module_from_spec(spec)
spec.loader.exec_module(modeling_htdn)
# تحميل تلقائي كامل: النموذج + الأوزان + المحلل اللغوي
model, params, tokenizer, config = modeling_htdn.load_htdn_from_hub("gijl/htdn-arabic-350m1")
# توليد نص تلقائي كامل
print(modeling_htdn.generate(model, params, tokenizer, "مرحبا"))
# أو الاختصار الكامل بسطر واحد فعلي:
# print(modeling_htdn.quick_generate("gijl/htdn-arabic-350m1", "مرحبا"))
معلومات التدريب
- الخطوة عند الرفع: 428440
- عدد المعاملات: ~0.0M
- المحلل اللغوي:
bert-base-multilingual-cased - أفضل خسارة مسجَّلة: 0.3741021156311035
- الزمن التراكمي للتدريب: 120:36:03
هذا نموذج تجريبي/بحثي — النتائج أولية.
- Downloads last month
- 435
Install from pip and serve model
# Install vLLM from pip: pip install vllm# Start the vLLM server: vllm serve "gijl/htdn-arabic-350m1"# Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "gijl/htdn-arabic-350m1", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'