| --- |
| library_name: transformers |
| tags: |
| - Nekolien |
| - SLM |
| - Nelya |
| - conlangs |
| license: other |
| pipeline_tag: text-generation |
| --- |
| # 📄 Carte de Modèle (Model Card) : Nelya-neko |
|
|
|  |
|
|
| ## 🌟 Présentation du Modèle |
|
|
| **Nelya-neko** est un Modèle de Langage Spécialisé (SLM) de $124$ millions de paramètres, pré-entraîné sur la langue construite **Nekolien** (propriété intellectuelle de LLm-Clem). C'est le premier modèle de la nouvelle génération d'architectures de Clemylia conçu pour les tâches de recherche avancées en *conlangs* (langues construites) et pour le traitement de très longs contextes. |
|
|
| ## 🛠️ Détails Techniques et Architecture |
|
|
| | Caractéristique | Valeur | Note d'Impact | |
| | :--- | :--- | :--- | |
| | **Famille / Type** | Modèle de Fondation (Base) / SLM | Nécessite un Fine-Tuning pour l'alignement et les applications finales. | |
| | **Développeur** | Clemylia (LLm-Clem) | Créé ***From Scratch*** (architecture, tokeniseur, pré-entraînement). | |
| | **Paramètres** | $124$ Millions | Taille optimisée pour l'efficacité et le déploiement sur du matériel grand public. | |
| | **Fenêtre de Contexte** | **$7000$ Tokens** | **Innovation Majeure :** Permet la gestion de documents complets et de conversations Nekolien très longues. | |
| | **Langue** | Nekolien (Langue Construite) | **Ultra-spécialisé.** Ne doit pas être utilisé pour des langues naturelles sans Fine-Tuning extensif. | |
| | **Tokeniseur** | **`Nekolien-tokeniseur`** | Tokeniseur propriétaire *From Scratch*, essentiel pour le décodage et l'encodage du Nekolien. | |
|
|
| ## 🔑 Tokeniseurs Spéciaux (Inclus dans le `Nekolien-tokeniseur`) |
|
|
| Le modèle utilise un ensemble de tokens spéciaux pour structurer les données et permettre les tâches d'alignement futur : |
|
|
| | Token | Rôle Conventionnel | Fonction Spécifique | |
| | :--- | :--- | :--- | |
| | **`<INKONIA>`** | UNK (Unknown) | Gère les séquences inconnues non présentes dans le corpus Nekolien. | |
| | **`<CLASYA>`** | CLS (Classifier) | Token de classification pour l'encapsulation de séquences (utile en Fine-Tuning). | |
| | **`<SEPARA>`** | SEP (Separator) | Utilisé pour marquer la délimitation entre différentes parties d'une séquence de texte. | |
| | **`<MASKA>`** | MASK | Nécessaire pour les tâches de *Masked Language Modeling* (MLM) et de prédiction en Fine-Tuning. | |
| | **`<MEMA>`** | **Mémory / Métadonnée** | Token unique, potentiellement lié à la gestion efficace du contexte étendu ($7000$ tokens). | |
| | **`<PAD>`** | Padding | Assure la cohérence de la taille des séquences pour l'efficacité du GPU. | |
|
|
| ## 📜 Licence et Restrictions d'Usage |
|
|
| **Licence :** **LRUNDL (Licence de Recherche Non-Commerciale et à Usage Distinctif Limité)** |
|
|
| * **Paternité :** Tous les dérivés (modèles Fine-Tunés) doivent attribuer clairement la paternité à LLm-Clem. |
| * **Restriction :** L'usage de **Nelya-neko** est strictement limité à la **recherche** et à l'**expérimentation non-commerciale**. |
| * **Conformité :** Les œuvres dérivées doivent respecter la **LRUNDL** (aucune licence plus permissive comme la MIT ne peut être appliquée). |
|
|
| ## 💡 Utilisations et Limitations Prévues |
|
|
| ### Utilisations Prévues |
|
|
| * **Recherche sur les *Conlangs*** : Étude de la modélisation du langage sur les systèmes linguistiques construits. |
| * **Création de *Datasets* Nekoliens :** Génération de corpus cohérents pour le Fine-Tuning. |
| * **Base pour Assistants Spécialisés :** Création d'assistants (bots) pour la langue Nekolien après un Fine-Tuning d'alignement. |
|
|
| ### Limitations et Précautions |
|
|
| * **Non-Aligné :** En tant que modèle de fondation pur, **Nelya-neko** produit de la **continuation de texte** thématique et non des réponses structurées (nécessite un Fine-Tuning pour l'Instruction Following). |
| * **Monolingue :** Les performances dans toute autre langue que le Nekolien sont **nulles** ou **non garanties**. |
| * **Accès :** Le modèle et son tokeniseur sont sujets à des restrictions d'accès gérées par LLm-Clem. |
|
|
| --- |
|
|
| ## 🚀 Prochaines Étapes pour le Déploiement |
|
|
| Pour passer de ce modèle de fondation à une application utilisable, il est nécessaire de réaliser un **Fine-Tuning d'Alignement** (basé sur des paires instruction/réponse Nekoliennes) pour lui apprendre l'obéissance et la personnalité souhaitée. |
|
|
| **Variante du nekolien de ce modèle** : Nekolien original/centre. |
|
|
| Nelya-neko respecte les regles de l'Académie nekolienne : |
| https://neko-lexicon-archives.lovable.app/ |
