Use Docker images
docker run --gpus all \
--shm-size 32g \
-p 30000:30000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=<secret>" \
--ipc=host \
lmsysorg/sglang:latest \
python3 -m sglang.launch_server \
--model-path "Conlanger-LLM-CLEM/Sorie" \
--host 0.0.0.0 \
--port 30000# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "Conlanger-LLM-CLEM/Sorie",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'🌟 Sorie-0.5B : Documentation Officielle
Bienvenue dans la documentation de Sorie, un LLM innovant conçu pour l'efficacité et la performance. Développé entièrement from scratch par Clem, Sorie repose sur l'architecture propriétaire SoraForSLM.
📊 Fiche Technique
| Caractéristique | Détails |
|---|---|
| Nom du Modèle | Sorie-0.5B |
| Version | 1.0.0 |
| Développeur | Clem |
| Type | Décodeur-uniquement (Causal LM) |
| Nombre de paramètres | ~500 millions |
| Format | PyTorch / Safetensors |
💕 Sorie
"Sorie est le fruit d'une exploration passionnée sur l'optimisation des architectures de langage. L'objectif était de prouver qu'un modèle de 0.5B peut être à la fois intelligent et extrêmement agile." — Clem
📜 Licence
Sorie est distribuée sous licence artistique.
📛 : Le Nom Sorie n'a rien a voir avec une sourie ou le mot "sorry" en anglais. c'est un nom tiré de "Sora", avec la terminaison en ie qui signifie "Performant/Grand" dans la conlangs Thëienne en cours de création. Sorie est donc un nom qui signifie "Le Grand Sora" et qui n'a rien a voir avec sorry ou avec une sourie.
- Downloads last month
- 15
Install from pip and serve model
# Install SGLang from pip: pip install sglang# Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Conlanger-LLM-CLEM/Sorie" \ --host 0.0.0.0 \ --port 30000# Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Conlanger-LLM-CLEM/Sorie", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'