Update app_1.py

app_1.py

@@ -1,94 +1,64 @@
-# pip install -U gradio huggingface_hub
-
 import os
 import gradio as gr
 from huggingface_hub import InferenceClient
 
-MODEL_ID = "Qwen/Qwen3-Coder-Next"
-HF_TOKEN = os.environ.get("HF_TOKEN")  # export HF_TOKEN=hf_...
+# Konfiguration
+MODEL_ID = "Qwen/Qwen2.5-Coder-32B-Instruct"  # Beispiel ID (Qwen3 ist ggf. noch nicht public/verfügbar)
+HF_TOKEN = os.environ.get("HF_TOKEN")
 
-client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
+# Check für Token (Wichtig für Fehlervermeidung)
+if not HF_TOKEN:
+    print("Warnung: Kein HF_TOKEN gefunden. Ratenbegrenzungen könnten strenger sein.")
 
+# Client initialisieren
+client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
 
-def history_to_messages(history):
+def chat_stream(message, history):
     """
-    Gradio history kann je nach Version sein:
-      - Liste von (user, assistant) Tuples
-      - Liste von dicts / message-Objekten
-      - oder gemischte Formen
-    Wir normalisieren auf OpenAI/HF chat messages: [{"role": "...", "content": "..."}]
+    Gradio 6.x übergibt:
+    - message: Der aktuelle User-Input (str)
+    - history: Die bisherige Konversation als list[dict] (dank type="messages")
     """
+    
+    # 1. Nachrichtenliste aufbauen (System-Prompt optional hier einfügen)
     messages = []
-    for item in history or []:
-        # Fall 1: tuple/list (u, a) oder mehr
-        if isinstance(item, (list, tuple)):
-            u = item[0] if len(item) > 0 else ""
-            a = item[1] if len(item) > 1 else ""
-            if u:
-                messages.append({"role": "user", "content": str(u)})
-            if a:
-                messages.append({"role": "assistant", "content": str(a)})
-
-        # Fall 2: dict-style messages
-        elif isinstance(item, dict):
-            role = item.get("role")
-            content = item.get("content", "")
-            if role in ("user", "assistant") and content:
-                messages.append({"role": role, "content": str(content)})
-
-        # Unbekannt: ignorieren
-    return messages
-
-
-def chat(user_msg, history):
-    messages = history_to_messages(history)
-    messages.append({"role": "user", "content": user_msg})
-
-    resp = client.chat.completions.create(
-        messages=messages,
-        max_tokens=512,
-        temperature=0.2,
-    )
-    return resp.choices[0].message["content"]
-
-
-def chat_stream(user_msg, history):
-    """
-    Optional: Streaming (falls vom Provider/Backend unterstützt).
-    Fällt sonst automatisch auf nicht-streaming zurück, wenn es knallt.
-    """
-    messages = history_to_messages(history)
-    messages.append({"role": "user", "content": user_msg})
+    # Optional: System-Prompt
+    # messages.append({"role": "system", "content": "Du bist ein hilfreicher Coding-Assistent."})
+    
+    # Historie + aktuelle Nachricht anhängen
+    messages.extend(history)
+    messages.append({"role": "user", "content": message})
 
     try:
+        # 2. Anfrage an Hugging Face (Streaming aktiviert)
         stream = client.chat.completions.create(
             messages=messages,
-            max_tokens=2048,
-            temperature=0.8,
+            max_tokens=1024,  # Erhöht für Code-Generation
+            temperature=0.2,
             stream=True,
         )
-        out = ""
-        for chunk in stream:
-            # chunk format ist providerabhängig, meistens ähnlich OpenAI
-            delta = ""
-            try:
-                delta = chunk.choices[0].delta.get("content", "") or ""
-            except Exception:
-                # Fallback, wenn chunk anders strukturiert ist
-                delta = getattr(chunk, "delta", "") or ""
-            if delta:
-                out += delta
-                yield out
-    except Exception:
-        # Fallback: ohne streaming
-        yield chat(user_msg, history)
-
 
+        partial_text = ""
+        for chunk in stream:
+            # Sicherer Zugriff auf das Delta-Objekt (Pydantic Model)
+            delta_content = chunk.choices[0].delta.content
+            
+            if delta_content:
+                partial_text += delta_content
+                yield partial_text
+
+    except Exception as e:
+        # Fehlerbehandlung direkt im Chat-Fenster
+        yield f"⚠️ Ein Fehler ist aufgetreten: {str(e)}"
+
+# Interface definieren
 demo = gr.ChatInterface(
-    fn=chat,  # wenn du streaming willst: fn=chat_stream
-    title="Qwen3-Coder-Next (Hugging Face Inference)",
-    description="Setze HF_TOKEN als Env-Var. Beispiel: export HF_TOKEN=hf_...",
+    fn=chat_stream,
+    #type="messages",  # WICHTIG: Aktiviert das neue Format für Gradio 5/6
+    title=f"Chat mit {MODEL_ID}",
+    description="Ein optimierter Coding-Assistent mit Gradio 6.2 und HF Inference.",
+    fill_height=True, # Nutzt den vollen Bildschirm besser
 )
 
 if __name__ == "__main__":
-    demo.launch(share=False)
+    demo.launch(server_name="0.0.0.0", server_port=7860)