Text Generation
Transformers
Safetensors
GGUF
German
mistral
mergekit
Merge
german
deutsch
text-generation-inference
Instructions to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B") model = AutoModelForCausalLM.from_pretrained("MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K # Run inference directly in the terminal: llama cli -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K # Run inference directly in the terminal: llama cli -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K # Run inference directly in the terminal: ./llama-cli -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K # Run inference directly in the terminal: ./build/bin/llama-cli -hf MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
Use Docker
docker model run hf.co/MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
- LM Studio
- Jan
- vLLM
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
- SGLang
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Ollama
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with Ollama:
ollama run hf.co/MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
- Unsloth Desktop
- Docker Model Runner
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with Docker Model Runner:
docker model run hf.co/MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
- Lemonade
How to use MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull MarcGrumpyOlejak/VerwaltungsAnthologie_talky_7B:Q6_K
Run and chat with the model
lemonade run user.VerwaltungsAnthologie_talky_7B-Q6_K
List all available models
lemonade list
- Atomic Chat
Upload folder using huggingface_hub
Browse files
README.md
CHANGED
|
@@ -108,9 +108,9 @@ curl -s /dev/null 127.0.0.1:8080/completion -H "Content-Type: application/json"
|
|
| 108 |
### Example #1 - the short stuff
|
| 109 |
I prepared a short example taken from the pages of official german legislation: [§ 1 Podologiegesetz (PodG)](https://www.gesetze-im-internet.de/podg/__1.html)
|
| 110 |
|
| 111 |
-
| Answer §1 PodG - "talky" | Answer §1 PodG - "clean" |
|
| 112 |
-
| -------- | -------- |
|
| 113 |
-
| "§ 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnungen \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" dürfen nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden.\n\nPodologinnen und Podologen aus Vertragsstaaten des Europäischen Wirtschaftsraumes können die Berufsbezeichnung ohne Erlaubnis führen, wenn sie ihre Tätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt." | § 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnung \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" darf nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden. Podologinnen und Podologen, die Staatsangehörige eines Vertragsstaates des Europäischen Wirtschaftsraumes sind, führen diese Berufsbezeichnung im Geltungsbereich dieses Gesetzes ohne Erlaubnis, sofern sie ihre Berufstätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages im Geltungsbereich dieses Gesetzes ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt. |
|
| 114 |
|
| 115 |
### Example #2 - the long stuff
|
| 116 |
(todo - as the short stuff is not really shorter – it worked better with longer original texts)
|
|
|
|
| 108 |
### Example #1 - the short stuff
|
| 109 |
I prepared a short example taken from the pages of official german legislation: [§ 1 Podologiegesetz (PodG)](https://www.gesetze-im-internet.de/podg/__1.html)
|
| 110 |
|
| 111 |
+
| Answer handwritten | Answer §1 PodG - "talky" | Answer §1 PodG - "clean" |
|
| 112 |
+
| -------- | -------- | -------- |
|
| 113 |
+
| Der § 1 PodG regelt, dass sich jemand nur mit Erlaubnis "Podologin" oder "Podologe" nennen darf. Die Bezeichnungen "Medizinische Fußpflegerin" oder "Medizinischer Fußpfleger" sind genau so geschützt. Eine Ausnahme ist in § 10 Absatz 1 PodG definiert. Staatsangehörige des Europäischen Wirtschaftsraums brauchen keine Erlaubnis, wenn sie ihre Dienstleistung nur vorübergehend nach Artikel 50 des EG-Vertrags anbieten. Aber sie müssen diese Tätigkeit melden. Dasselbe gilt für Menschen aus Nicht-EU-Ländern, wenn es in den Gesetzen der Europäischen Gemeinschaft steht. Das nennt man Gleichstellung. | "§ 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnungen \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" dürfen nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden.\n\nPodologinnen und Podologen aus Vertragsstaaten des Europäischen Wirtschaftsraumes können die Berufsbezeichnung ohne Erlaubnis führen, wenn sie ihre Tätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt." | § 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnung \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" darf nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden. Podologinnen und Podologen, die Staatsangehörige eines Vertragsstaates des Europäischen Wirtschaftsraumes sind, führen diese Berufsbezeichnung im Geltungsbereich dieses Gesetzes ohne Erlaubnis, sofern sie ihre Berufstätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages im Geltungsbereich dieses Gesetzes ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt. |
|
| 114 |
|
| 115 |
### Example #2 - the long stuff
|
| 116 |
(todo - as the short stuff is not really shorter – it worked better with longer original texts)
|