Instructions to use Finisha-F-scratch/Tiny-charlotte with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Finisha-F-scratch/Tiny-charlotte with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Finisha-F-scratch/Tiny-charlotte") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Tiny-charlotte") model = AutoModelForCausalLM.from_pretrained("Finisha-F-scratch/Tiny-charlotte", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Finisha-F-scratch/Tiny-charlotte with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Finisha-F-scratch/Tiny-charlotte" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Tiny-charlotte", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Finisha-F-scratch/Tiny-charlotte
- SGLang
How to use Finisha-F-scratch/Tiny-charlotte with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Tiny-charlotte" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Tiny-charlotte", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Tiny-charlotte" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Tiny-charlotte", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Finisha-F-scratch/Tiny-charlotte with Docker Model Runner:
docker model run hf.co/Finisha-F-scratch/Tiny-charlotte
Download README.md from Finisha-F-scratch/Tiny-charlotte: direct link, hf CLI and curl.
- Browser
- Download file 4.67 kB
-
https://huggingface.co/Finisha-F-scratch/Tiny-charlotte/resolve/fb52ab9b550febb6556453cf30f9dfa6b25dcc48/README.md
- Command line
-
hf download hf://Finisha-F-scratch/Tiny-charlotte@fb52ab9b550febb6556453cf30f9dfa6b25dcc48/README.md
-
curl -L -o README.md https://huggingface.co/Finisha-F-scratch/Tiny-charlotte/resolve/fb52ab9b550febb6556453cf30f9dfa6b25dcc48/README.md
library_name: transformers
license: mit
datasets:
- Etoiles-IA-nostalgia/Charlotte-Data
language:
- fr
base_model:
- Clemylia/LAM-4-ZERO-F
pipeline_tag: text-generation
📖 Documentation Officielle : Tiny-charlotte
🌟 Présentation du Modèle
Bienvenue dans l'univers de Tiny-charlotte ! Ce modèle est un Small Language Model (SLM) innovant, développé par Clemylia @Clemylia. Il est conçu pour générer des textes et répondre à des requêtes autour de thématiques fondamentales et positives.
| Caractéristique | Détail |
|---|---|
| Architecture de base | Affiné à partir de notre performant lam-4-zero-f |
| Taille du Modèle | 51 millions de paramètres (un modèle ultra-léger) |
| Spécialisation | Espoir, Amitié et Éthique 💖🌱 |
| Performance | Exceptionnelle par rapport à sa taille (surpasse nos modèles beaucoup plus grands) |
✨ Mission & Capacités
Tiny-charlotte a été affiné sur un dataset spécifique axé sur l'espoir, l'amitié et les principes de l'éthique.
Ce que Tiny-charlotte fait très bien :
- Réponses Contextuelles : Générer des textes pertinents sur l'amitié, la persévérance, la moralité, et l'optimisme.
- Génération Fluide : Produire des phrases et des paragraphes étonnamment lisibles et cohérents malgré sa petite taille.
- Performance SLM : Démontrer une capacité de raisonnement et de génération supérieure à celle de modèles bien plus volumineux (comme notre précédent lam-3 de 714M).
⚠️ Note Essentielle : L'Usage Massif de Néologismes (Mots Inventés)
Attention : Tiny-charlotte (et son architecture de base lam-4-zero-f) génère des néologismes (mots inventés) de manière TRÈS FRÉQUENTE. Attendez-vous à ce que la majorité des phrases contiennent ces mots uniques.
L'impact : Bien que les phrases soient remplies de mots originaux, le modèle parvient toujours à générer un texte dont le sens général reste étonnamment pertinent et cohérent avec les thèmes de l'amitié, de l'espoir et de l'éthique.
🎯 Exemple de Génération Typique : Prompt : Discussion sur la notion de "capitale".
Sortie de Tiny-charlotte :
La capitale du jugé est une ségritée. L'amitié nous pouveau de la prendre que les technologies est un principe éthique soutien-ême. L'amitié nous apprendrez-le pas une source de soutienveillance et de données, pas la complexité d'IA.
(Fin)
Cet exemple met en évidence :
La Densité des mots inventés (ségritée, pouveau, soutienveillance).
La Cohérence Thématique (jugement/éthique, amitié, technologies/IA) malgré la forme lexicale non-standard.
Nous considérons ce trait comme une caractéristique unique et positive qui démontre la puissance de génération de ce modèle ultra-léger, prouvant qu'un SLM n'a pas besoin d'une taille massive pour être fonctionnel et créatif.
📝 Ceci est un comportement normal
Constant de notre architecture SLM de 51M de paramètres. Le modèle compense sa taille ultra-réduite par une créativité lexicale intense. Ce trait unique donne à la génération de Tiny-charlotte un caractère distinctif et parfois poétique. Nous considérons ce "trait de caractère" comme une preuve de sa performance en matière de sampling et de créativité textuelle, compte tenu de sa taille ultra-réduite.
🛠️ Comment l'Utiliser
Vous pouvez charger et utiliser Tiny-charlotte facilement en utilisant la librairie transformers :
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "Clemylia/Tiny-charlotte"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
prompt = "Qu'est-ce qui définit une véritable amitié ?"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
# Exemple de génération
output = model.generate(
input_ids,
max_length=150,
num_return_sequences=1,
do_sample=True, # Recommandé pour la créativité
temperature=0.8
)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
💡 Contribution & Feedback
Nous encourageons la communauté à tester et à expérimenter avec Tiny-charlotte !
- Si vous l'utilisez dans vos projets, n'hésitez pas à nous taguer.
- Vos retours sur ses capacités et ses néologismes sont les bienvenus.
Merci de soutenir la recherche sur les SLM performants et légers !
— L'équipe de Clemylia 💖
