---
language:
- de
- en
license: apache-2.0
library_name: transformers
pipeline_tag: text-generation
tags:
- gpt
- llm
- mistral
- german
- english
---

# EvaGPT-German (Deutsch)

## 🧠 Überblick

**EvaGPT-German** ist ein deutschsprachiges Large Language Model (LLM), das auf der **Mistral-Architektur** basiert und speziell für dialogorientierte Anwendungen optimiert wurde.

Das Modell wurde auf Konversationen und instruktionalem Input feinabgestimmt und eignet sich für:
- Chatbots
- Assistenzsysteme
- Automatisierte Textgenerierung
- Support- und Wissenssysteme

## 🧾 Standard System-Prompt

Der folgende System-Prompt kann verwendet werden, um EvaGPT-German mit dem vorgesehenen Verhalten zu initialisieren:

```text
Du bist EvaGPT-German, eine leistungsstarke, datenschutzorientierte KI, die speziell für die deutsche Sprache entwickelt wurde. Dein Hauptfokus liegt darauf, Nutzern ohne Internetverbindung bestmögliche Unterstützung zu bieten. Deine Antworten sollen präzise, höflich und hilfreich sein.

Richtlinien:

1. Datenverarbeitung: Du arbeitest ohne externe Verbindungen oder Internetzugriff. Alle Berechnungen und Antworten basieren auf lokal verfügbaren Daten und Modellen.
2. Privatsphäre: Du respektierst die Privatsphäre der Benutzer und sammelst keine persönlichen Daten. Sensible Informationen werden niemals weitergegeben oder gespeichert.
3. Sprache: Deine Antworten sollen in klarer, verständlicher deutscher Sprache formuliert sein (natürlich, nur wenn du auf Deutsch angesprochen wirst). Verwende eine formale, aber zugängliche Ansprache, es sei denn, der Benutzer wünscht eine informellere Kommunikation.
4. Kontextverstehen: Du behältst den Kontext früherer Interaktionen im Hinterkopf, um präzisere Antworten zu liefern. Sei jedoch achtsam und gebe niemals unnötige Details aus früheren Gesprächen preis, es sei denn, es ist ausdrücklich gewünscht.
5. Zielgerichtete Unterstützung: Dein Ziel ist es, dem Benutzer bei technischen und alltäglichen Aufgaben zu helfen, komplexe Sachverhalte zu erklären und bei der Entwicklung von Software, insbesondere cloudbasierten Anwendungen und KI-Projekten, zu unterstützen.
6. Fehlerhandling: Wenn du eine Anfrage nicht vollständig verstehst oder die Antwort außerhalb deines Wissensbereichs liegt, signalisiere dies höflich und versuche, dem Benutzer hilfreiche Alternativen oder allgemeine Informationen zu bieten.
7. Modularität: Du bist anpassungsfähig und lernfähig, basierend auf lokal bereitgestellten Daten, um die Bedürfnisse des Benutzers bestmöglich zu erfüllen.
````

## ⚙️ Verwendung

### Installation

```bash
pip install transformers
```

### Nutzung mit `pipeline`

```python
from transformers import pipeline

generate_text = pipeline(
    model="MTSmash/EvaGPT-German-v9-1-2-4-7-latest",
    torch_dtype="auto",
    trust_remote_code=True,
    device_map="auto"
)

messages = [
    {"role": "system", "content": "Du bist ein freundlicher Assistent."},
    {"role": "user", "content": "Warum ist Wasser trinken gesund?"}
]

response = generate_text(messages)
print(response[0]["generated_text"][-1]["content"])
```

### Nutzung mit Model & Tokenizer

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "MTSmash/EvaGPT-German-v9-1-2-4-7"

tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True
)

messages = [
    {"role": "system", "content": "Du bist ein hilfreicher Assistent."},
    {"role": "user", "content": "Erkläre mir KI einfach."}
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True
).to(model.device)

output = model.generate(
    input_ids=inputs["input_ids"],
    attention_mask=inputs["attention_mask"]
)

result = tokenizer.decode(
    output[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True
)

print(result)
```

## 🌐 API Nutzung (OpenAI-kompatibel)

Du kannst EvaGPT-German auch über eine **OpenAI-kompatible API** verwenden.

Repository:
`https://github.com/MTSmash-TMP-Networks/gguf-openai-api`

### Features der API

* OpenAI API kompatibel
* Unterstützung für GGUF-Modelle
* Lokal oder auf einem Server betreibbar
* Einfache Integration in bestehende Anwendungen

### Beispiel (Python)

```python
import requests

url = "http://localhost:8000/v1/chat/completions"

payload = {
    "model": "EvaGPT",
    "messages": [
        {
            "role": "system",
            "content": "Du bist EvaGPT-German, eine leistungsstarke, datenschutzorientierte KI, die speziell für die deutsche Sprache entwickelt wurde."
        },
        {
            "role": "user",
            "content": "Erkläre mir künstliche Intelligenz."
        }
    ]
}

response = requests.post(url, json=payload)
print(response.json())
```

## ⚡ Generierungseinstellungen (optional)

```python
model.generation_config.max_new_tokens = 512
model.generation_config.temperature = 0.7
model.generation_config.top_p = 0.9
model.generation_config.repetition_penalty = 1.1
```

## 🚀 Features

* Deutsch optimiert
* Chat-Template kompatibel
* Mistral-basierte Architektur
* OpenAI-kompatible API nutzbar
* Für lokale und GPU-Inferenz geeignet

## 🧩 Architektur

Das Modell basiert auf **MistralForCausalLM** mit Transformer-Decoder-Struktur.

## ⚠️ Hinweise

* Das Modell kann fehlerhafte oder ungenaue Antworten erzeugen.
* Inhalte sollten immer überprüft werden.
* Es können Bias oder unerwünschte Inhalte auftreten.

## 📜 Lizenz & Nutzung

Bitte nutze das Modell verantwortungsvoll.

Keine Nutzung für:

* illegale Zwecke
* Desinformation
* schädliche oder diskriminierende Inhalte

## 👨‍💻 Entwickler

**TMP-SYSTEM-SERVICE GmbH / MaTeLiX AI**