Instructions to use Conlanger-LLM-CLEM/Nekolina with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Conlanger-LLM-CLEM/Nekolina with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Conlanger-LLM-CLEM/Nekolina")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Conlanger-LLM-CLEM/Nekolina")
model = AutoModelForCausalLM.from_pretrained("Conlanger-LLM-CLEM/Nekolina", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Conlanger-LLM-CLEM/Nekolina with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Conlanger-LLM-CLEM/Nekolina"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Conlanger-LLM-CLEM/Nekolina",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Conlanger-LLM-CLEM/Nekolina

SGLang

How to use Conlanger-LLM-CLEM/Nekolina with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Conlanger-LLM-CLEM/Nekolina" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Conlanger-LLM-CLEM/Nekolina",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Conlanger-LLM-CLEM/Nekolina" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Conlanger-LLM-CLEM/Nekolina",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Conlanger-LLM-CLEM/Nekolina with Docker Model Runner:
```
docker model run hf.co/Conlanger-LLM-CLEM/Nekolina
```

Nekolina / LICENSE

Conlanger-LLM-CLEM

Clemylia

Duplicate from Finisha-F-scratch/Nekolina

023aaf2 6 months ago

Raw History Blame Contribute Delete

1.93 kB

	🌸 License : Nelya 🌸

	Veuillez lire la license présente ci dessous et l'accepter.
	Vous ne devez pas utiliser notre modèle,
	si vous n'êtes pas prêt a accepter cette license.
	les points ci-dessous s'appliquent a nos utilisateurs et aux autres développeurs,
	pour notre LLM : Nelya,
	ainsi que notre langue inventé (nekolien),
	quil génère elle-même.
	voici les conditions que vous devez acceptez :

	1) Nelya est un LLM de 2b de Paramètres,
	crée from scratch (de Zero),
	par l'équipe de Clemylia.
	de ce fait la propriété de ce modèle,
	appartient en intégralité a la personne qui l'a entraîné.

	2) Toute copie directe du modèle est strictement interdite.
	Ce modèle est soumis aux droits d'auteurs de ses créateurs originaux,
	et vous ne pouvez pas le plagie, le copier ou le distribuer,
	sans aucune autorisation.
	Cela demande au MOINS UNE AUTORISATION EXPLICITE DE CLEMYLIA,
	pour la redistribution de vos versions Inspiré,
	et vous ne pouvez en aucun cas faire usage commercial de vos versions ou du vrai modèle Nelya.

	3) Le Fine-tuning est totalement interdit sur Le modèle Nelya-v1.
	Sauf de la part de ses créateurs originaux eux-mêmes.

	4) Vous pouvez utiliser le LLm Nelya,
	en tant qu'utilisateur,
	mais vous ne pouvez pas revendiquer la propriété du modèle Nelya.

	5) Nous ne sommes en aucun cas responsable du mauvais usage du modèle.

	6) Si vous fine-tuné une partie du modèle sans autorisation,
	et qu'on sen rend compte,
	Nous nous réservons le droit de vous réclamer au moins 50€ de dommage,
	allant jusqu'à 200€,
	dans les cas les plus graves de copie.

	Ce modèle a été entraîné sur un bon TPU,
	vous comprenez bien,
	que c'est pas 100 % gratuit.
	Du coup, toute malveillance à l'égard du modèle.
	vous coûtera 200€.

	7) La langue inventé (Nekolien),
	qu'on a crée, et qui la langue générer par le modèle,
	est entièrement soumis a nos droits d'auteurs artistiques.

	Merci!