Update chat_tab.py

chat_tab.py

@@ -1,157 +1,174 @@
-import os
-import json
-import time
-import gradio as gr
-from gradio_client import Client
-import torch
-
-# إعدادات الجهاز والخزنة الخارجية للرادار
-DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
-DATASET_REPO = "Asem75/aiocr_asistant"
-
-# ------------------ التحميل الكسول المتباعد (Lazy & Delayed Loading) ------------------
-_whisper_pipe = None
-_llm_tokenizer = None
-_llm_model = None
-
-def load_whisper_lazy():
-    """تحميل مؤجل وكسول لـ Whisper لمنع انفجار ذاكرة المساحة الحالية"""
-    global _whisper_pipe
-    if _whisper_pipe is not None:
-        return _whisper_pipe
-        
-    print("⏳ بدء تشغيل التحميل المؤجل لـ Whisper...")
-    time.sleep(2)  # تأخير أمني متباعد لحماية السيرفر
-    
-    from transformers import pipeline
-    _whisper_pipe = pipeline(
-        "automatic-speech-recognition",
-        model="openai/whisper-base",
-        device=DEVICE
-    )
-    print("✅ تم تحميل Whisper بأمان.")
-    return _whisper_pipe
-
-def load_teacher_llm_lazy():
-    """تحميل كسلان ومتباعد لنموذج مايكروسوفت المستقر Phi-3"""
-    global _llm_tokenizer, _llm_model
-    if _llm_model is not None:
-        return _llm_model, _llm_tokenizer
-        
-    print("⏳ تهيئة السيرفر لاستقبال نموذج مايكروسوفت Phi-3...")
-    time.sleep(3)  # تأخير إضافي لفصل العمليات
-    
-    from transformers import AutoTokenizer, AutoModelForCausalLM
-    model_id = "microsoft/Phi-3-mini-4k-instruct"
-    
-    _llm_tokenizer = AutoTokenizer.from_pretrained(model_id)
-    _llm_model = AutoModelForCausalLM.from_pretrained(
-        model_id,
-        torch_dtype=torch.float16 if DEVICE == "cuda" else torch.float32,
-        device_map="auto"
-    )
-    print("✅ تم تحميل نموذج الأستاذ بنجاح واستقرار.")
-    return _llm_model, _llm_tokenizer
-
-# ------------------ الاتصال بمساحة الرادار (العقل الصوتي والخزنة) ------------------
-def call_radar_voice_api(text_content, voice_name, user_email, user_token):
-    """إرسال النص والمعلومات إلى مساحة الرادار ليتولى فحص الـ VIP وحفظ الملف باسم المستخدم"""
-    try:
-        # الاتصال بمساحة الرادار كـ Client خلفي
-        radar_client = Client("Asem75/Aiocr_Radar")
-        
-        # استدعاء نقطة الـ API المفتوحة باسم synth_arabic (بدون شرطة مائلة طبقاً لقواعد جريديو)
-        # نرسل له البيانات كاملة ليتحقق الرادار من جانبه ويحفظ الملف في المجلد المخصص
-        audio_url = radar_client.predict(
-            text=text_content,
-            speaker_name=voice_name,
-            email=user_email,
-            device_token=user_token,
-            api_name="synth_arabic"
-        )
-        return audio_url
-    except Exception as e:
-        print(f"⚠️ فشل الاتصال بمساحة الرادار أو تم حظر المستخدم: {e}")
-        return None
-
-# ------------------ معالجة الحوار التفاعلي المتدرج ------------------
-def teacher_chat_process(audio_mic, chat_history, input_name, input_email, device_token):
+# ======================== دالة المحادثة المطورة (مع الدرس الكامل) ========================
+def teacher_chat_process(
+    audio_mic,
+    chat_history,
+    student_name,
+    user_email,
+    device_token,
+    grade,
+    semester,
+    subject,
+    lesson,
+    track
+):
     if audio_mic is None:
         return chat_history, None, "⚠️ الرجاء تسجيل سؤالك أولاً عبر المايكروفون."
 
-    # 1. تحويل صوت الطالب إلى نص
+    # 1. تحويل الصوت إلى نص
     whisper_model = load_whisper_lazy()
-    transcription = whisper_model(audio_mic, generate_kwargs={"language": "arabic"})["text"]
-    
+    transcription = whisper_model(
+        audio_mic,
+        generate_kwargs={"language": "arabic"}
+    )["text"]
+
     if not transcription.strip():
         return chat_history, None, "❌ لم يتم التقاط كلمات واضحة."
 
-    # 2. استدعاء نموذج مايكروسوفت Phi-3 للرد المتدرج
-    model, tokenizer = load_teacher_llm_lazy()
-    
-    system_prompt = (
-        "أنت الأستاذ عبود، معلم خبير وموجه تربوي ذكي. تتحدث باللغة العربية الفصحى وبنبرة مشوقة. "
+    print(f"🗣️ الطالب {student_name}: {transcription}")
+
+    # 2. البحث عن ملف الدرس في الخزنة وحقنه كاملاً
+    lesson_content = find_lesson_file_in_vault(grade, semester, subject, lesson)
+
+    # 3. بناء سياق النموذج
+    context_parts = [f"مادة {subject}", f"{lesson}"]
+    if semester:
+        context_parts.insert(1, f"الفصل {semester}")
+    if track:
+        context_parts.append(f"تخصص {track}")
+    context_str = " - ".join(context_parts)
+
+    system_prompt_base = (
+        f"أنت الأستاذ عبود، معلم خبير وموجه تربوي ذكي. "
+        f"السياق الحالي: {context_str}. "
+        "تتحدث باللغة العربية الفصحى وبنبرة مشوقة. "
         "قاعدتك الأساسية: لا تعطي الطالب الشرح كاملاً أو الإجابة النهائية دفعة واحدة أبداً! "
         "قم بتقسيم المعلومات وتدرج في إعطائها له فكرة فكرة (فقرة قصيرة لا تتجاوز 30 كلمة). "
         "في نهاية كل رد، اطرح على الطالب سؤالاً تفاعلياً قصيراً لتتأكد من فهمه قبل الانتقال للخطوة التالية."
     )
-    
+
+    # 4. معالجة محتوى الدرس (كاملاً مع تقسيم ذكي إذا لزم الأمر)
+    lesson_part = 1
+    total_parts = 1
+    lesson_text = ""
+
+    if lesson_content:
+        # حساب الحد الأقصى المتاح (4096 توكن ≈ 12000 حرف عربي)
+        # نترك مساحة للـ system prompt والتاريخ وسؤال المستخدم والرد (≈ 2000 حرف)
+        MAX_CHARS_FOR_LESSON = 10000
+
+        if len(lesson_content) <= MAX_CHARS_FOR_LESSON:
+            # الدرس صغير بما يكفي - نأخذه كاملاً
+            lesson_text = lesson_content
+            print(f"📚 تم تحميل الدرس كاملاً ({len(lesson_content)} حرف)")
+        else:
+            # الدرس كبير - نقسمه إلى أجزاء
+            total_parts = (len(lesson_content) // MAX_CHARS_FOR_LESSON) + 1
+
+            # نأخذ الجزء الأول فقط لهذه الجولة
+            start = 0
+            end = MAX_CHARS_FOR_LESSON
+            lesson_text = lesson_content[start:end]
+            lesson_part = 1
+
+            print(f"📚 الدرس كبير ({len(lesson_content)} حرف) - تم تحميل الجزء {lesson_part}/{total_parts}")
+
+        # إضافة محتوى الدرس إلى system prompt
+        if total_parts == 1:
+            lesson_header = "\n\n📖 المحتوى الكامل للدرس (المرجع الأساسي لإجاباتك):\n"
+        else:
+            lesson_header = f"\n\n📖 محتوى الدرس - الجزء {lesson_part}/{total_parts} (المرجع الأساسي لإجاباتك):\n"
+
+        system_prompt = system_prompt_base + lesson_header + "```\n" + lesson_text + "\n```"
+
+        if total_parts > 1:
+            system_prompt += (
+                f"\n⚠️ تنبيه: هذا الجزء {lesson_part} من {total_parts}. "
+                "عند الانتهاء من شرح هذا الجزء، أخبر الطالب بأن هناك أجزاء أخرى متاحة للمتابعة."
+            )
+    else:
+        system_prompt = system_prompt_base
+        print("⚠️ لم يتم العثور على محتوى الدرس - سيستخدم النموذج معرفته العامة")
+
+    # 5. استدعاء نموذج Phi-3
+    model, tokenizer = load_teacher_llm_lazy()
+
     messages = [{"role": "system", "content": system_prompt}]
-    for user_msg, ai_msg in chat_history:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": ai_msg})
+
+    # معالجة تاريخ المحادثة
+    if chat_history:
+        for msg in chat_history:
+            if isinstance(msg, dict):
+                messages.append({"role": msg["role"], "content": msg["content"]})
+            elif isinstance(msg, (list, tuple)) and len(msg) == 2:
+                messages.append({"role": "user", "content": str(msg[0])})
+                messages.append({"role": "assistant", "content": str(msg[1])})
+
     messages.append({"role": "user", "content": transcription})
-    
-    prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+
+    # طباعة حجم السياق للمراقبة
+    total_chars = sum(len(m["content"]) for m in messages)
+    print(f"📊 حجم السياق الكلي: {total_chars} حرف (~{total_chars // 3} توكن تقريبي)")
+
+    prompt = tokenizer.apply_chat_template(
+        messages,
+        tokenize=False,
+        add_generation_prompt=True
+    )
     inputs = tokenizer(prompt, return_tensors="pt").to(DEVICE)
-    
+
+    # التحقق من عدم تجاوز الحد الأقصى
+    input_length = inputs.input_ids.shape[1]
+    print(f"📊 عدد التوكنز الفعلي: {input_length} (الحد الأقصى: 4096)")
+
+    if input_length > 4000:
+        print("⚠️ تحذير: السياق كبير جداً وقد يتم اقتطاعه تلقائياً")
+
     with torch.no_grad():
-        outputs = model.generate(**inputs, max_new_tokens=150, temperature=0.7, do_sample=True)
-    
-    full_response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
-    
-    chat_history.append((transcription, full_response))
-    
-    # 3. إرسال رد الأستاذ الصادر من هنا إلى الرادار لتوليده صوتاً (مع إرسال إيميل وبصمة المستخدم)
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=150,
+            temperature=0.7,
+            do_sample=True,
+            pad_token_id=tokenizer.eos_token_id
+        )
+
+    full_response = tokenizer.decode(
+        outputs[0][inputs.input_ids.shape[1]:],
+        skip_special_tokens=True
+    )
+
+    print(f"🤖 الأستاذ: {full_response[:80]}...")
+
+    # 6. تحديث تاريخ المحادثة
+    if not chat_history:
+        chat_history = []
+    chat_history.append({"role": "user", "content": transcription})
+    chat_history.append({"role": "assistant", "content": full_response})
+
+    # 7. تحديث الخزنة السحابية
+    ensure_vault_structure(
+        grade=grade,
+        semester=semester,
+        subject=subject,
+        lesson=lesson,
+        user_name=student_name,
+        track=track
+    )
+
+    # 8. إرسال الرد إلى الرادار لتوليد الصوت
     print("🔊 توجيه النص ديناميكياً لمساحة الرادار...")
-    # نختار صوت شرح مناسب من مايكروسوفت بشكل افتراضي للردود
     audio_path = call_radar_voice_api(
         text_content=full_response,
         voice_name="ar-EG-SalmaNeural",
-        user_email=input_email.strip(),
+        user_email=user_email.strip(),
         user_token=device_token.strip()
     )
-    
+
     if audio_path is None:
         status = "❌ فشل التوليد الصوتي (قد يكون المستخدم غير مسجل كـ VIP في الرادار)"
     else:
-        status = f"✅ تم التوليد بنجاح عبر الرادار وحفظ الصوت باسمك."
-        
-    return chat_history, audio_path, status
-
-# ------------------ بناء التبويب الخاص بالمحادثة ------------------
-def create_chat_tab(current_user_name, current_user_email, current_device_token):
-    with gr.Tab("💬 محادثة الأستاذ عبود الصوتية (VIP)"):
-        gr.Markdown("### 🎙️ حُجرة المحادثة الشخصية المباشرة مع الأستاذ (بواسطة Whisper & Phi-3)")
-        
-        with gr.Row():
-            with gr.Column(scale=2):
-                chatbot = gr.Chatbot(label="👨‍🏫 النقاش التفاعلي المتدرج مع الأستاذ", bubble_full_width=False, rtl=True)
-                student_mic = gr.Audio(label="🎤 تحدث الآن مع الأستاذ (اضغط وسجل سؤالك)", type="filepath", sources=["microphone"])
-                send_btn = gr.Button("🚀 إرسال السؤال الصوتي", variant="primary")
-                
-            with gr.Column(scale=1):
-                gr.Markdown("🔒 **بيانات جدار الحماية البرمجي (المستلمة تلقائياً من نظام التشغيل):**")
-                gate_name = gr.Textbox(label="اسم المستخدم", value=current_user_name, interactive=False)
-                gate_email = gr.Textbox(label="البريد الإلكتروني الموثق", value=current_user_email, interactive=False)
-                gate_token = gr.Textbox(label="بصمة الجهاز المكتشفة", value=current_device_token, interactive=False)
-                
-                gr.Markdown("---")
-                teacher_voice_output = gr.Audio(label="🔊 استمع لرد الأستاذ الشفهي (القادم من الرادار)", type="filepath")
-                system_status = gr.Textbox(label="حالة بوابة الحماية والمعالجة", interactive=False)
-
-        send_btn.click(
-            fn=teacher_chat_process,
-            inputs=[student_mic, chatbot, gate_name, gate_email, gate_token],
-            outputs=[chatbot, teacher_voice_output, system_status]
-        )
+        status = f"✅ تم التوليد بنجاح | الدرس: {lesson}"
+        if total_parts > 1:
+            status += f" (الجزء {lesson_part}/{total_parts})"
+
+    return chat_history, audio_path, status