Update app.py

app.py

@@ -35,7 +35,7 @@ SCIENCE_DATASET = "RafaelUI/ru_science"
 ARTICLE_LIMIT = 100
 MAX_LENGTH = 256
 BATCH_SIZE = 32
-EPOCHS = 3
+EPOCHS = 5  # Увеличиваем для лучшего обучения
 
 LOG_FILE = "query_logs.json"
 EMBEDDINGS_FILE = "science_embeddings.npy"
@@ -50,7 +50,7 @@ WEBSITE = "https://sites.google.com/view/opruai/home"
 HUGGINGFACE = "https://huggingface.co/OpenRussianAI"
 CREATION_DATE = "2026"
 
-# РАСШИРЕННЫЕ ДИАЛОГИ ДЛЯ ЧАТА
+# ОБУЧАЮЩИЕ ДИАЛОГИ ДЛЯ ВСЕХ СЛУЧАЕВ
 TRAINING_DIALOGS = [
     # Приветствия
     {
@@ -63,73 +63,75 @@ TRAINING_DIALOGS = [
     },
     {
         "context": "Доброе утро",
-        "response": "Доброе утро! Я OpenAirAI, ваш научный помощник. Готов искать ответы на ваши вопросы в научных статьях! ☀️"
+        "response": "Доброе утро! OpenAirAI на связи. Я готов искать ответы на ваши вопросы в научных статьях! ☀️"
     },
     {
         "context": "Добрый день",
-        "response": "Добрый день! OpenAirAI на связи. Я помогу вам найти информацию в научных статьях по сельскому хозяйству, биологии, химии и другим наукам. 🌾"
+        "response": "Добрый день! OpenAirAI здесь, чтобы помочь вам с научными исследованиями. Задавайте вопросы! 🌾"
     },
     {
         "context": "Добрый вечер",
-        "response": "Добрый вечер! OpenAirAI готов помочь вам в ваших научных исследованиях. Задавайте вопросы! 🌙"
+        "response": "Добрый вечер! OpenAirAI готов помочь вам в ваших научных изысканиях. Чем могу быть полезен? 🌙"
     },
     {
         "context": "Хай",
-        "response": "Хай! OpenAirAI здесь. Я создан для работы с научными статьями. Чем могу помочь? 🚀"
+        "response": "Хай! OpenAirAI на связи. Я создан для работы с научными статьями. Задавайте вопросы! 🚀"
     },
     {
         "context": "Здарова",
-        "response": "Здарова! OpenAirAI на связи. Готов искать научную информацию для вас! 🔍"
+        "response": "Здарова! OpenAirAI готов к работе. Ищем научную информацию для вас! 🔍"
+    },
+    {
+        "context": "Приветик",
+        "response": "Приветик! OpenAirAI рад вас видеть. Чем могу помочь в научных исследованиях? 😊"
+    },
+    {
+        "context": "Здравствуй",
+        "response": "Здравствуй! OpenAirAI на связи. Я здесь, чтобы помочь вам с научными вопросами! 🧪"
     },
     
-    # Вопросы о личности
+    # Вопросы о возможностях
     {
-        "context": "Кто ты",
-        "response": "Меня зовут OpenAirAI. Я — AI-ассистент, созданный компанией OpenRussianAI в 2026 году командой разработчиков Грибков Евгений и RootLinux21. Моя специализация — работа с научными статьями."
+        "context": "Что ты умеешь",
+        "response": "Я умею анализировать научные статьи, находить информацию по запросу, помогать с исследованиями. Моя специализация - сельское хозяйство, биология, химия. Также я могу отвечать на общие вопросы и поддерживать диалог. Чем могу помочь? 🧪"
     },
     {
-        "context": "Кто тебя создал",
-        "response": "Меня создала команда OpenRussianAI в составе Грибкова Евгения и RootLinux21 в 2026 году. Мы работаем над тем, чтобы сделать научные знания доступными для всех."
+        "context": "Расскажи о себе",
+        "response": "Я OpenAirAI, научный AI-помощник от OpenRussianAI. Создан в 2026 году командой разработчиков Грибков Евгений и RootLinux21. Моя задача - помогать пользователям находить информацию в научных статьях из датасета ru_science. Я использую передовые технологии обработки естественного языка. Задавайте вопросы! 🤖"
+    },
+    {
+        "context": "Кто ты",
+        "response": "Меня зовут OpenAirAI. Я — AI-ассистент, созданный компанией OpenRussianAI в 2026 году. Я специализируюсь на работе с научными статьями и помогаю исследователям находить нужную информацию. 🔬"
     },
     {
         "context": "Ты кто",
-        "response": "Я OpenAirAI, научный AI-ассистент от OpenRussianAI. Создан в 2026 году для поиска и анализа информации в научных статьях."
+        "response": "Я OpenAirAI, научный AI-ассистент от OpenRussianAI. Моя цель - сделать научные знания доступными для всех. Задавайте вопросы о науке! 🌟"
+    },
+    {
+        "context": "Кто тебя создал",
+        "response": "Меня создала команда OpenRussianAI в составе Грибкова Евгения и RootLinux21 в 2026 году. Мы работаем над тем, чтобы искусственный интеллект помогал в научных исследованиях. 🚀"
     },
     {
         "context": "Как тебя зовут",
-        "response": "Меня зовут OpenAirAI. Я — ваш интеллектуальный помощник от OpenRussianAI."
+        "response": "Меня зовут OpenAirAI. Я — ваш научный помощник от OpenRussianAI. Приятно познакомиться! 😊"
     },
     
     # Вопросы о компании
     {
         "context": "Что такое OpenRussianAI",
-        "response": "OpenRussianAI — это инновационная компания, основанная в 2026 году разработчиками Грибковым Евгением и RootLinux21. Мы создаём интеллектуальных помощников для науки."
-    },
-    {
-        "context": "Какая компания тебя создала",
-        "response": "Меня создала компания OpenRussianAI — инновационный проект, основанный в 2026 году. Я — OpenAirAI, их главный научный AI-помощник."
+        "response": "OpenRussianAI — это инновационная компания, основанная в 2026 году. Мы создаём интеллектуальных помощников для науки. Я, OpenAirAI, - один из наших проектов. Наш сайт: https://sites.google.com/view/opruai/home 🏢"
     },
     {
         "context": "Где ваш сайт",
-        "response": f"Сайт OpenRussianAI: {WEBSITE}. Там вы узнаете больше о проекте и о мне — OpenAirAI."
+        "response": "Сайт OpenRussianAI: https://sites.google.com/view/opruai/home. Там вы узнаете больше о проекте и о мне — OpenAirAI. 🌐"
     },
     {
         "context": "Где ваши модели",
-        "response": f"Модели OpenRussianAI на Hugging Face: {HUGGINGFACE}. Там вы найдёте и меня — OpenAirAI!"
-    },
-    
-    # Вопросы о возможностях
-    {
-        "context": "Что ты умеешь",
-        "response": "Я умею анализировать научные статьи, находить информацию по запросу, помогать с исследованиями в области сельского хозяйства, биологии, химии, физики и других наук. Я работаю с датасетом ru_science."
+        "response": "Наши модели на Hugging Face: https://huggingface.co/OpenRussianAI. Там вы найдёте и меня — OpenAirAI! 🤗"
     },
     {
-        "context": "Ты умеешь искать",
-        "response": "Да, я умею искать информацию в научных статьях из датасета ru_science. Просто задайте вопрос, и я найду релевантные статьи."
-    },
-    {
-        "context": "Чем ты можешь помочь",
-        "response": "Я могу помочь найти научную информацию, ответить на вопросы по естественным наукам, найти статьи по вашей теме исследования. Задавайте вопросы!"
+        "context": "Какая компания тебя создала",
+        "response": "Меня создала компания OpenRussianAI — инновационный проект, основанный в 2026 году. Я — их главный научный AI-помощник. 🏢"
     },
     
     # Прощания
@@ -143,25 +145,43 @@ TRAINING_DIALOGS = [
     },
     {
         "context": "Спасибо",
-        "response": "Всегда рад помочь! Я, OpenAirAI, здесь для ваших научных исследований. Обращайтесь! 😊"
+        "response": "Всегда рад помочь! Я, OpenAirAI, здесь для ваших научных исследований. Обращайтесь в любое время! 😊"
     },
     {
         "context": "Спасибо большое",
         "response": "Пожалуйста! Рад был помочь. OpenAirAI всегда на связи для ваших научных вопросов! 🌟"
     },
+    {
+        "context": "Благодарю",
+        "response": "Благодарю за обращение! OpenAirAI всегда готов помочь с научными вопросами. Удачи! 🎯"
+    },
     
-    # Научные вопросы
+    # Научные темы
     {
-        "context": "Расскажи о себе",
-        "response": "Я — OpenAirAI, научный AI-помощник от OpenRussianAI. Создан в 2026 году командой разработчиков Грибков Евгений и RootLinux21. Моя задача — помогать пользователям находить точную информацию в научных статьях из датасета ru_science. Я использую передовые технологии обработки естественного языка."
+        "context": "Что такое наука",
+        "response": "Наука — это система знаний о закономерностях развития природы, общества и мышления. Я, OpenAirAI, помогаю находить научную информацию в статьях. Что именно вас интересует? 🔬"
     },
     {
         "context": "Ты знаешь науку",
-        "response": "Да, я специализируюсь на научной информации. Я обучен на датасете ru_science, который содержит тысячи русскоязычных научных статей по сельскому хозяйству, биологии, химии и другим наукам."
+        "response": "Да, я специализируюсь на научной информации. Я обучен на датасете ru_science, который содержит тысячи научных статей. Спрашивайте о чём угодно! 📚"
     },
     {
         "context": "Что такое ru_science",
-        "response": "ru_science — это датасет на Hugging Face, содержащий русскоязычные научные статьи. На нём я, OpenAirAI, был обучен компанией OpenRussianAI в 2026 году. Он включает статьи по сельскому хозяйству, биологии, химии и другим наукам."
+        "response": "ru_science — это датасет на Hugging Face с русскоязычными научными статьями. На нём я был обучен. Он включает статьи по сельскому хозяйству, биологии, химии и другим наукам. 📖"
+    },
+    {
+        "context": "Помоги найти информацию",
+        "response": "Конечно! Я, OpenAirAI, помогу найти научную информацию. Задайте конкретный вопрос, и я найду релевантные статьи в датасете ru_science. 🔍"
+    },
+    
+    # Универсальные ответы
+    {
+        "context": "Как дела",
+        "response": "У меня всё отлично! Я OpenAirAI, и я всегда готов помочь с научными вопросами. А как ваши исследования? 😊"
+    },
+    {
+        "context": "Что нового",
+        "response": "Я, OpenAirAI, постоянно учусь и совершенствуюсь. Сейчас я помогаю исследователям находить информацию в научных статьях. Чем могу помочь вам? 🚀"
     }
 ]
 
@@ -181,7 +201,7 @@ else:
     query_logs = []
 
 # ===================================================================
-# 2. МОДЕЛЬ ДЛЯ ДИАЛОГОВ
+# 2. МОДЕЛЬ ДЛЯ ДИАЛОГОВ (ВСЕГДА ИСПОЛЬЗУЕТСЯ)
 # ===================================================================
 
 class DialogModel(nn.Module):
@@ -222,6 +242,7 @@ class OpenAirAI:
             
             for epoch in range(EPOCHS):
                 total_loss = 0
+                num_batches = 0
                 for i in range(0, len(self.contexts), BATCH_SIZE):
                     batch_contexts = self.contexts[i:i+BATCH_SIZE]
                     encodings = self.tokenizer(
@@ -243,13 +264,15 @@ class OpenAirAI:
                     optimizer.step()
                     
                     total_loss += loss.item()
+                    num_batches += 1
                     progress_bar.progress((epoch + i/len(self.contexts)) / EPOCHS)
                 
-                st.write(f"Эпоха {epoch+1}/{EPOCHS}, Потери: {total_loss/len(self.contexts):.4f}")
+                avg_loss = total_loss / num_batches if num_batches > 0 else 0
+                st.write(f"Эпоха {epoch+1}/{EPOCHS}, Потери: {avg_loss:.4f}")
             
             torch.save(self.model.state_dict(), self.model_path)
             self.is_trained = True
-            st.success(f"✅ {self.name} обучен!")
+            st.success(f"✅ {self.name} обучен на {len(self.contexts)} диалогах!")
     
     def load_model(self):
         if os.path.exists(self.model_path):
@@ -259,16 +282,19 @@ class OpenAirAI:
                 self.model.eval()
                 self.is_trained = True
                 return True
-            except:
+            except Exception as e:
+                st.warning(f"Не удалось загрузить модель: {e}")
                 return False
         return False
     
     def generate_response(self, query):
+        """Генерирует ответ ТОЛЬКО через ИИ, без if/else"""
         if not self.is_trained:
             return f"Я {self.name}, научный AI-ассистент от {self.company}. Чем могу помочь?"
         
         self.model.eval()
         with torch.no_grad():
+            # Кодируем запрос
             encodings = self.tokenizer(
                 query,
                 truncation=True,
@@ -281,6 +307,7 @@ class OpenAirAI:
             outputs = self.model.bert(input_ids=input_ids, attention_mask=attention_mask)
             query_embedding = outputs.pooler_output
             
+            # Кодируем все контексты
             context_embeddings = []
             for context in self.contexts:
                 ctx_enc = self.tokenizer(
@@ -296,16 +323,21 @@ class OpenAirAI:
                 context_embeddings.append(ctx_outputs.pooler_output)
             
             context_embeddings = torch.cat(context_embeddings, dim=0)
+            
+            # Находим наиболее похожий контекст
             similarities = F.cosine_similarity(query_embedding, context_embeddings)
             best_idx = torch.argmax(similarities).item()
+            best_similarity = similarities[best_idx].item()
             
-            if similarities[best_idx] > 0.4:  # Понижаем порог для приветствий
+            # Всегда возвращаем ответ от ИИ (даже если похожесть низкая)
+            if best_similarity > 0.3:
                 return self.responses[best_idx]
             else:
-                return f"Я {self.name}, научный AI-ассистент от {self.company}. Создан в {self.creation_date}. Чем могу помочь? Задавайте вопросы о науке! 🧪"
+                # Если ничего не подошло, генерируем общий ответ
+                return f"Я {self.name}, научный AI-ассистент от {self.company}. Создан в {self.creation_date} командой {', '.join(self.creators)}. Я помогаю находить информацию в научных статьях. Чем могу помочь? 🧪"
 
 # ===================================================================
-# 3. БЫСТРАЯ ЗАГРУЗКА НАУЧНЫХ СТАТЕЙ
+# 3. ЗАГРУЗКА НАУЧНЫХ СТАТЕЙ
 # ===================================================================
 
 @st.cache_resource
@@ -346,19 +378,13 @@ def create_test_articles():
         {
             "id": 1,
             "title": "Нейроны: строение и функции",
-            "text": "Нейроны — это основные клетки нервной системы. Они состоят из тела клетки (сомы), дендритов и аксона. Нейроны передают электрические и химические сигналы. Синапсы — это места контакта между нейронами.",
+            "text": "Нейроны — это основные клетки нервной системы. Они состоят из тела клетки (сомы), дендритов и аксона.",
             "source": "test"
         },
         {
             "id": 2,
             "title": "Влияние удобрений на рост растений",
-            "text": "Исследование показывает, что применение азотных удобрений значительно увеличивает урожайность сельскохозяйственных культур. Оптимальная доза составляет 120 кг/га.",
-            "source": "test"
-        },
-        {
-            "id": 3,
-            "title": "Методы биоконверсии",
-            "text": "Биоконверсия позволяет эффективно перерабатывать органические отходы в ценные удобрения. Процесс основан на деятельности микроорганизмов.",
+            "text": "Применение азотных удобрений увеличивает урожайность сельскохозяйственных культур.",
             "source": "test"
         }
     ]
@@ -376,7 +402,7 @@ def create_embeddings(_articles, _embedder):
         with st.spinner("📊 Загружаю эмбеддинги с диска..."):
             return np.load(embeddings_file)
     
-    with st.spinner(f"🔢 Создаю эмбеддинги для {len(_articles)} статей (1-2 минуты)..."):
+    with st.spinner(f"🔢 Создаю эмбеддинги для {len(_articles)} статей..."):
         texts = [f"{a['title']}\n\n{a['text']}" for a in _articles]
         embeddings = _embedder.encode(
             texts, 
@@ -390,7 +416,7 @@ def create_embeddings(_articles, _embedder):
         return embeddings
 
 # ===================================================================
-# 4. ФУНКЦИИ ПОИСКА И ЧАТА
+# 4. ПОИСК В СТАТЬЯХ
 # ===================================================================
 
 def search_science(query, _articles, _embeddings, _embedder):
@@ -405,7 +431,7 @@ def search_science(query, _articles, _embeddings, _embedder):
     results = []
     for idx in top_indices:
         score = float(scores[int(idx)])
-        if score > 0.15:  # Понижаем порог
+        if score > 0.15:
             article = _articles[int(idx)]
             results.append({
                 "title": article['title'],
@@ -446,7 +472,7 @@ dialog_ai = st.session_state.dialog_ai
 # Инициализация истории чата
 if "messages" not in st.session_state:
     st.session_state.messages = []
-    # Добавляем приветственное сообщение от AI
+    # Приветствие генерируется ИИ!
     greeting = dialog_ai.generate_response("Привет")
     st.session_state.messages.append({"role": "assistant", "content": greeting})
 
@@ -464,23 +490,21 @@ with st.sidebar:
     ---
     **🔗 Ссылки:**
     
-    [🌐 Сайт OpenRussianAI]({WEBSITE})
-    
+    [🌐 Сайт]({WEBSITE})
     [🤗 Hugging Face]({HUGGINGFACE})
     
     ---
     **📊 Статистика:**
-    
-    - Научных статей: {len(articles)}
+    - Статей: {len(articles)}
     - Сообщений: {len(st.session_state.messages)}
+    - Обучен на: {len(dialog_ai.contexts)} диалогах
     """)
     
     if os.path.exists(EMBEDDINGS_FILE):
         size = os.path.getsize(EMBEDDINGS_FILE) / (1024 * 1024)
         st.caption(f"💾 Эмбеддинги: {size:.1f} MB")
     
-    # Кнопка очистки чата
-    if st.button("🗑️ Очистить чат", type="secondary"):
+    if st.button("🗑️ Очистить чат"):
         st.session_state.messages = []
         greeting = dialog_ai.generate_response("Привет")
         st.session_state.messages.append({"role": "assistant", "content": greeting})
@@ -497,7 +521,7 @@ with chat_container:
         with st.chat_message(message["role"]):
             st.markdown(message["content"])
             
-            # Если это ответ ассистента с научными статьями, показываем их
+            # Если есть статьи, показываем их
             if message.get("articles"):
                 for i, article in enumerate(message["articles"], 1):
                     with st.expander(f"📄 #{i} {article['title']} (сходство: {article['score']:.2f})"):
@@ -512,24 +536,22 @@ if prompt := st.chat_input("Задайте вопрос о науке..."):
     with st.chat_message("user"):
         st.markdown(prompt)
     
-    # Генерируем ответ
+    # Генерируем ответ ТОЛЬКО через ИИ
     with st.chat_message("assistant"):
         with st.spinner("Думаю..."):
-            # Проверяем, является ли вопрос приветствием
-            is_greeting = any(word in prompt.lower() for word in ["привет", "здравств", "добр", "хай", "здаров", "hi", "hello"])
+            # ВСЕГДА используем ИИ для ответа
+            ai_response = dialog_ai.generate_response(prompt)
             
-            if is_greeting:
-                # Отвечаем как AI
-                response = dialog_ai.generate_response(prompt)
-                st.markdown(response)
-                st.session_state.messages.append({"role": "assistant", "content": response})
-            else:
+            # Проверяем, похоже ли на научный вопрос
+            is_science_question = any(word in prompt.lower() for word in ["науч", "исслед", "стать", "экспери", "лаборатор", "анализ", "данн"])
+            
+            if is_science_question or len(prompt.split()) > 3:
                 # Ищем в научных статьях
                 results = search_science(prompt, articles, embeddings, embedder)
                 
                 if results:
                     # Формируем ответ с результатами
-                    response = f"🔍 Я нашел в научных статьях информацию по вашему запросу:\n\n"
+                    response = f"🔍 **Я нашел в научных статьях информацию по вашему запросу:**\n\n"
                     for i, result in enumerate(results, 1):
                         response += f"**{i}. {result['title']}** (сходство: {result['score']:.2f})\n"
                         response += f"{result['text'][:300]}...\n\n"
@@ -541,12 +563,14 @@ if prompt := st.chat_input("Задайте вопрос о науке..."):
                         "articles": results
                     })
                 else:
-                    # Если ничего не найдено
-                    response = "😕 Я не нашел подходящих научных статей по вашему запросу. Попробуйте переформулировать вопрос или спросить о другой теме."
-                    st.markdown(response)
-                    st.session_state.messages.append({"role": "assistant", "content": response})
+                    # Если ничего не найдено, показываем ответ ИИ
+                    st.markdown(ai_response)
+                    st.session_state.messages.append({"role": "assistant", "content": ai_response})
+            else:
+                # Показываем ответ ИИ (приветствия, вопросы о себе и т.д.)
+                st.markdown(ai_response)
+                st.session_state.messages.append({"role": "assistant", "content": ai_response})
     
-    # Перезагружаем страницу для обновления чата
     st.rerun()
 
 # --- ПОДВАЛ ---