""" Memory API Routes - endpoints для работы с памятью NMP """ from fastapi import APIRouter, HTTPException from typing import Dict, List, Any import time from .models import MemoryRequest, SearchRequest from .utils import clean_search_results, generate_success_response, generate_error_response router = APIRouter(prefix="/api/memory", tags=["memory"]) @router.post("/save") async def memory_save(data: MemoryRequest): """Сохранить в память NMP Plus""" try: # Импортируем глобальные переменные из основного модуля import nmp_plus_http_api_refactored vector_db = nmp_plus_http_api_refactored.vector_db if vector_db: # ИСПРАВЛЕНИЕ: Возвращаем старый рабочий метод add_concept doc_id = await vector_db.add_concept( concept=data.content[:50], content=data.content, project=data.project, category=data.category, tags=data.tags, metadata=data.metadata ) else: # Заглушка doc_id = f"stub_{hash(data.content) % 10000}" return generate_success_response( {"id": doc_id}, f"Сохранено в NMP Plus: {data.content[:50]}..." ) except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @router.post("/search") async def memory_search(data: SearchRequest): """🎯 НОВЫЙ ПОИСК: QWEN КОНТРОЛИРУЕТ ОТВЕТЫ - СНАЧАЛА ПО ПОСЛЕДНЕЙ ДАТЕ!""" import logging logger = logging.getLogger("uvicorn.error") try: logger.info(f"🔍 Поиск запрос: {data.query}, коллекция: {data.collection}") # Импортируем глобальные переменные import nmp_plus_http_api_refactored vector_db = nmp_plus_http_api_refactored.vector_db qwen_engine = nmp_plus_http_api_refactored.qwen_engine logger.info(f"VectorDB доступен: {vector_db is not None}, QwenEngine доступен: {qwen_engine is not None}") # 🧠 ПРИОРИТЕТ: QWEN КОНТРОЛИРУЕМЫЙ ПОИСК (если не отключен) # 🔧 ИСПРАВЛЕНИЕ: Отключаем QWEN для поиска по конкретным ID is_id_search = ( "_20250713_" in data.query or # Поиск по ID с датой data.query.startswith(data.collection + "_") or # Поиск по ID коллекции len(data.query) > 20 and "_" in data.query # Длинный запрос с подчеркиваниями (вероятно ID) ) if (qwen_engine and hasattr(qwen_engine, 'qwen_controlled_response_system') and not getattr(data, 'bypass_qwen', False) and not is_id_search): logger.info(f"🎯 QWEN БЕРЕТ КОНТРОЛЬ НАД ПОИСКОМ: {data.query}") # Используем новую систему контроля Qwen qwen_response = await qwen_engine.qwen_controlled_response_system( query=data.query, context={ 'collection': data.collection, 'project': data.project, 'n_results': data.n_results } ) # 🔧 ИСПРАВЛЕНИЕ: Проверяем, не возвращает ли Qwen тестовые данные или None if (qwen_response and ("📅 Последняя: неизвестно" in qwen_response or "💬 Содержимое: \"...\"" in qwen_response or "💬 Содержимое: \"MCP тест памяти\"" in qwen_response)): logger.warning("⚠️ Qwen возвращает тестовые данные, переключаемся на прямой поиск") # Переходим к прямому поиску pass elif qwen_response: # Если qwen_response не None и не тестовые данные # Qwen ответ корректный, также делаем обычный поиск для дополнительных данных if vector_db: table_name = getattr(data, 'collection', 'concepts') if not table_name: table_name = "concepts" regular_results = await vector_db.search_similar( query=data.query, table_name=table_name, limit=data.n_results or 5, project=data.project ) # Очищаем результаты clean_results = clean_search_results(regular_results) else: clean_results = [] return { "success": True, "query": data.query, "qwen_controlled": True, "qwen_response": qwen_response, "additional_results": clean_results[:3], # Только топ-3 дополнительных "total_found": len(clean_results), "search_type": "qwen_priority" } elif is_id_search: logger.info(f"🔍 ПРЯМОЙ ПОИСК ПО ID (QWEN ПРОПУЩЕН): {data.query}") # ОБЫЧНЫЙ ПОИСК (если Qwen недоступен или возвращает тестовые данные) if vector_db: table_name = getattr(data, 'collection', None) if table_name: # Поиск в конкретной коллекции results = await vector_db.search_similar( query=data.query, table_name=table_name, limit=data.n_results or 5, project=data.project ) else: # УНИВЕРСАЛЬНЫЙ поиск по ВСЕМ коллекциям если коллекция не указана all_results = [] available_tables = list(vector_db.tables.keys()) if hasattr(vector_db, 'tables') else ["concepts", "chats", "events", "insights", "architecture"] for table in available_tables: try: table_results = await vector_db.search_similar( query=data.query, table_name=table, limit=3, # По 3 из каждой таблицы project=data.project ) if table_results: all_results.extend(table_results) except Exception as e: continue # Пропускаем ошибки отдельных таблиц # Сортируем по релевантности и ограничиваем общий лимит results = sorted(all_results, key=lambda x: getattr(x, '_distance', 0))[:data.n_results or 5] # Очищаем результаты для JSON clean_results = clean_search_results(results) return { "success": True, "query": data.query, "results": clean_results, "total_found": len(clean_results), "search_type": "vector_only" if table_name else "multi_table_search" } else: # Прямой поиск в LanceDB через фильтрацию try: import lancedb import os db_path = os.path.join(os.path.dirname(__file__), "..", "data", "vectors") db = lancedb.connect(db_path) table_name = getattr(data, 'collection', 'concepts') or 'concepts' if table_name in db.table_names(): table = db.open_table(table_name) # Используем фильтрацию по содержимому вместо векторного поиска # Получаем все записи и фильтруем по содержимому all_results = table.head(1000).to_pylist() # Получаем первые 1000 записей # Фильтруем по запросу (поиск в content, concept, tags) query_lower = data.query.lower() filtered_results = [] for result in all_results: score = 0.0 # Проверяем содержимое content = str(result.get("content", "")).lower() if query_lower in content: score += 1.0 # Проверяем концепт concept = str(result.get("concept", "")).lower() if query_lower in concept: score += 2.0 # Больший вес для точного совпадения концепта # Проверяем теги tags = result.get("tags", []) if isinstance(tags, list): for tag in tags: if query_lower in str(tag).lower(): score += 1.5 # Если есть совпадения, добавляем в результаты if score > 0: filtered_results.append({ "id": result.get("id", ""), "concept": result.get("concept", ""), "content": result.get("content", ""), "project": result.get("project", ""), "category": result.get("category", ""), "tags": result.get("tags", []), "timestamp": str(result.get("timestamp", "")), "score": score, "metadata": result.get("metadata", {}) }) # Сортируем по релевантности (score) и дате filtered_results.sort(key=lambda x: (x["score"], x["timestamp"]), reverse=True) # Ограничиваем количество результатов final_results = filtered_results[:data.n_results or 10] return { "success": True, "query": data.query, "results": final_results, "total_found": len(final_results), "search_type": "direct_lancedb_filtered" } else: return { "success": False, "error": f"Коллекция '{table_name}' не найдена" } except Exception as e: logger.error(f"Ошибка прямого поиска: {str(e)}") return { "success": False, "error": f"Ошибка поиска: {str(e)}" } except Exception as e: logger.error(f"❌ Ошибка в memory_search: {str(e)}") import traceback logger.error(f"Traceback: {traceback.format_exc()}") raise HTTPException(status_code=500, detail=str(e)) @router.post("/stats") async def memory_stats(): """Статистика памяти NMP Plus""" import logging logger = logging.getLogger("uvicorn.error") try: import nmp_plus_http_api_refactored vector_db = nmp_plus_http_api_refactored.vector_db qwen_engine = nmp_plus_http_api_refactored.qwen_engine # 🧠 ПРИОРИТЕТ: QWEN КОНТРОЛИРУЕМЫЙ ОТВЕТ if qwen_engine and hasattr(qwen_engine, 'qwen_controlled_response_system'): logger.info("🎯 QWEN БЕРЕТ КОНТРОЛЬ НАД СТАТИСТИКОЙ") # Получаем базовую статистику if vector_db: base_stats = await vector_db.get_stats() else: # Реальная статистика из LanceDB import lancedb import os db_path = os.path.join(os.path.dirname(__file__), "..", "data", "vectors") db = lancedb.connect(db_path) tables = db.table_names() total_docs = 0 for table_name in tables: try: table = db.open_table(table_name) total_docs += table.count_rows() except: pass base_stats = { "total_collections": len(tables), "total_documents": total_docs, "collections": tables, "db_path": db_path } # Используем Qwen для интеллектуальной обработки статистики qwen_response = await qwen_engine.qwen_controlled_response_system( query="memory_stats", context={ 'base_stats': base_stats, 'request_type': 'memory_stats' } ) # Если Qwen пропустил системную команду (вернул None), используем обычную логику if qwen_response is None: logger.info("⚙️ Qwen пропустил системную команду memory_stats - используем прямую статистику") return { "success": True, "message": f"Статистика: {base_stats.get('total_collections', 0)} коллекций, {base_stats.get('total_documents', 0)} документов", "data": base_stats, "qwen_controlled": False, "timestamp": time.time() } return { "success": True, "message": f"Статистика: {base_stats.get('total_collections', 0)} коллекций, {base_stats.get('total_documents', 0)} документов", "data": base_stats, "qwen_controlled": True, "qwen_response": qwen_response, "timestamp": time.time() } # ОБЫЧНАЯ СТАТИСТИКА (если Qwen недоступен) if vector_db: stats = await vector_db.get_stats() return generate_success_response(stats, "Статистика памяти получена") else: # Реальная статистика из LanceDB try: import lancedb import os db_path = os.path.join(os.path.dirname(__file__), "..", "data", "vectors") db = lancedb.connect(db_path) tables = db.table_names() total_docs = 0 for table_name in tables: try: table = db.open_table(table_name) total_docs += table.count_rows() except: pass return generate_success_response({ "total_collections": len(tables), "total_documents": total_docs, "collections": tables, "db_path": db_path }, f"Статистика: {len(tables)} коллекций, {total_docs} документов") except Exception as e: return generate_success_response({ "error": str(e) }, "Ошибка получения статистики") except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @router.post("/list") async def memory_list(): """Список коллекций памяти""" try: import nmp_plus_http_api_refactored vector_db = nmp_plus_http_api_refactored.vector_db if vector_db: collections = await vector_db.list_tables() return generate_success_response({ "collections": collections }, "Список коллекций получен") else: # Реальный список коллекций из LanceDB try: import lancedb import os db_path = os.path.join(os.path.dirname(__file__), "..", "data", "vectors") db = lancedb.connect(db_path) collections = db.table_names() return generate_success_response({ "collections": collections, "total_count": len(collections) }, f"Найдено {len(collections)} коллекций") except Exception as e: return generate_success_response({ "error": str(e) }, "Ошибка получения списка") except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @router.post("/create") async def memory_create(data: Dict): """Создать новую коллекцию""" try: name = data.get("name") if not name: return generate_error_response("Не указано имя коллекции") import nmp_plus_http_api_refactored vector_db = nmp_plus_http_api_refactored.vector_db if vector_db: success = await vector_db.create_table(name) if success: return generate_success_response( {"collection": name}, f"Коллекция '{name}' создана" ) else: return generate_error_response(f"Не удалось создать коллекцию '{name}'") else: return generate_success_response( {"collection": name}, f"Коллекция '{name}' создана (РЕАЛЬНЫЕ_ДАННЫЕ)" ) except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @router.post("/delete") async def memory_delete(data: Dict): """Удалить коллекцию""" try: name = data.get("name") if not name: return generate_error_response("Не указано имя коллекции") import nmp_plus_http_api_refactored vector_db = nmp_plus_http_api_refactored.vector_db if vector_db: success = await vector_db.delete_table(name) if success: return generate_success_response( {"collection": name}, f"Коллекция '{name}' удалена" ) else: return generate_error_response(f"Не удалось удалить коллекцию '{name}'") else: return generate_success_response( {"collection": name}, f"Коллекция '{name}' удалена (РЕАЛЬНЫЕ_ДАННЫЕ)" ) except Exception as e: raise HTTPException(status_code=500, detail=str(e))