feat: arquitectura RAG embebida y asistente UdeCi con botones interactivos (SDD-010, v3.8.25)
This commit is contained in:
@@ -51,26 +51,24 @@ def test_ai_chat_pydantic_schemas_validation():
|
||||
|
||||
|
||||
def test_system_prompt_generation_by_role():
|
||||
"""Verifica que el System Prompt inyectado se adapte rigurosamente al rol."""
|
||||
"""Verifica que el System Prompt inyectado se adapte rigurosamente al rol y contenga UdeCi y RAG."""
|
||||
# Docente
|
||||
prompt_docente = generate_system_prompt_for_role("docente")
|
||||
assert "DOCENTES y PROFESORES" in prompt_docente
|
||||
assert "Gradebook" in prompt_docente
|
||||
assert "Google Meet" in prompt_docente
|
||||
assert "Bedelía" in prompt_docente # Restricción de permisos
|
||||
assert "UdeCi" in prompt_docente
|
||||
assert "DOCENTE" in prompt_docente
|
||||
assert "INFORMACIÓN OFICIAL DEL SISTEMA (RAG)" in prompt_docente
|
||||
|
||||
# Alumno
|
||||
prompt_alumno = generate_system_prompt_for_role("alumno")
|
||||
assert "ESTUDIANTES y ALUMNOS" in prompt_alumno
|
||||
assert "Cartelera de Clases de Hoy" in prompt_alumno
|
||||
assert "TERMINANTEMENTE PROHIBIDO" in prompt_alumno
|
||||
assert "UdeCi" in prompt_alumno
|
||||
assert "ALUMNO" in prompt_alumno
|
||||
assert "INFORMACIÓN OFICIAL DEL SISTEMA (RAG)" in prompt_alumno
|
||||
|
||||
# Bedelía / Admin
|
||||
prompt_bedelia = generate_system_prompt_for_role("bedelia")
|
||||
assert "BEDELÍA y ADMINISTRADORES" in prompt_bedelia
|
||||
assert "Circuito Secuencial Canónico de 9 Pasos" in prompt_bedelia
|
||||
assert "Matriz de Conflictos" in prompt_bedelia
|
||||
assert "Moodle 4.1" in prompt_bedelia
|
||||
assert "UdeCi" in prompt_bedelia
|
||||
assert "BEDELIA" in prompt_bedelia
|
||||
assert "INFORMACIÓN OFICIAL DEL SISTEMA (RAG)" in prompt_bedelia
|
||||
|
||||
|
||||
def test_ai_chat_public_config_endpoint():
|
||||
@@ -81,7 +79,9 @@ def test_ai_chat_public_config_endpoint():
|
||||
data = response.json()
|
||||
assert data["status"] == "success"
|
||||
assert "enabled" in data
|
||||
assert "model" in data
|
||||
assert data["name"] == "UdeCi"
|
||||
assert "role" in data
|
||||
assert "default_options" in data
|
||||
|
||||
|
||||
def test_ai_chat_endpoint_success_mock(init_database):
|
||||
@@ -141,7 +141,7 @@ def test_ai_chat_endpoint_validation_error():
|
||||
assert res2.status_code == 422
|
||||
|
||||
|
||||
def test_ai_chat_endpoint_connection_failure():
|
||||
def test_ai_chat_endpoint_connection_failure(init_database):
|
||||
"""Simula error de conexión con el servidor Llama.cpp y verifica HTTP 503."""
|
||||
client = TestClient(app)
|
||||
|
||||
@@ -154,10 +154,10 @@ def test_ai_chat_endpoint_connection_failure():
|
||||
assert res.status_code == 503
|
||||
data = res.json()
|
||||
assert "detail" in data
|
||||
assert "10.0.0.214" in data["detail"] or "motor de IA" in data["detail"]
|
||||
assert "UdeCi" in data["detail"] or "servidor local de IA" in data["detail"]
|
||||
|
||||
|
||||
def test_ai_chat_endpoint_timeout_failure():
|
||||
def test_ai_chat_endpoint_timeout_failure(init_database):
|
||||
"""Simula tiempo de espera agotado y verifica HTTP 504."""
|
||||
client = TestClient(app)
|
||||
|
||||
|
||||
@@ -0,0 +1,145 @@
|
||||
"""
|
||||
Suite de pruebas automatizadas para la arquitectura RAG y el asistente UdeCi (SDD-010).
|
||||
Valida indexación de chunks, filtrado estricto por rol, relevancia semántica,
|
||||
extracción de botones de opciones y endpoints administrativos.
|
||||
"""
|
||||
from unittest.mock import AsyncMock, patch, MagicMock
|
||||
from fastapi.testclient import TestClient
|
||||
from werkzeug.security import generate_password_hash
|
||||
|
||||
from main import app
|
||||
from app.models.knowledge_chunk import KnowledgeChunk
|
||||
from app.models.user import User
|
||||
from app.services.rag_service import RAGService
|
||||
|
||||
|
||||
def test_rag_reindex_default_knowledge(init_database):
|
||||
"""Valida la ingesta y particionamiento de la base de conocimiento oficial."""
|
||||
count = RAGService.reindex_default_knowledge()
|
||||
assert count >= 10
|
||||
|
||||
# Verificar que los fragmentos están en la base de datos
|
||||
chunks = KnowledgeChunk.query.all()
|
||||
assert len(chunks) == count
|
||||
roles = {c.role for c in chunks}
|
||||
assert "bedelia" in roles
|
||||
assert "docente" in roles
|
||||
assert "alumno" in roles
|
||||
assert "general" in roles
|
||||
|
||||
|
||||
def test_rag_strict_role_filtering(init_database):
|
||||
"""Valida que la recuperación semántica aísle estrictamente los permisos por rol."""
|
||||
RAGService.reindex_default_knowledge()
|
||||
|
||||
# 1. Consulta de Alumno intentando averiguar sobre Bedelía
|
||||
alumno_chunks = RAGService.search_relevant_chunks(
|
||||
query="como configurar el servidor o crear carreras y comisiones de bedelia",
|
||||
user_role="alumno",
|
||||
limit=5
|
||||
)
|
||||
# Ningún fragmento para Alumno debe ser de rol 'bedelia' o 'docente'
|
||||
for c in alumno_chunks:
|
||||
assert c["role"] in ["alumno", "general"], f"Fuga de rol detectada: {c['role']}"
|
||||
|
||||
# 2. Consulta de Docente
|
||||
docente_chunks = RAGService.search_relevant_chunks(
|
||||
query="donde veo las actas y aulas de mis materias",
|
||||
user_role="docente",
|
||||
limit=5
|
||||
)
|
||||
for c in docente_chunks:
|
||||
assert c["role"] in ["docente", "general"], f"Fuga de rol detectada: {c['role']}"
|
||||
|
||||
# 3. Consulta de Bedelía
|
||||
bedelia_chunks = RAGService.search_relevant_chunks(
|
||||
query="flujo de 9 pasos y matriz de conflictos",
|
||||
user_role="bedelia",
|
||||
limit=3
|
||||
)
|
||||
titles = [c["title"] for c in bedelia_chunks]
|
||||
assert any("9 Pasos" in t for t in titles)
|
||||
assert any("Conflictos" in t for t in titles)
|
||||
|
||||
|
||||
def test_rag_semantic_relevance_ranking(init_database):
|
||||
"""Verifica que los términos clave ubiquen el fragmento más idóneo en primera posición."""
|
||||
RAGService.reindex_default_knowledge()
|
||||
|
||||
# Búsqueda específica de aulas y Google Meet para Alumno
|
||||
results = RAGService.search_relevant_chunks("aula donde curso hoy meet", user_role="alumno", limit=2)
|
||||
assert len(results) > 0
|
||||
assert "Consulta de Aula y Horarios" in results[0]["title"]
|
||||
|
||||
|
||||
def test_udeci_chat_endpoint_rag_with_quick_options(init_database):
|
||||
"""Verifica la respuesta de UdeCi incluyendo la extracción de botones de opciones."""
|
||||
client = TestClient(app)
|
||||
|
||||
mock_response = MagicMock()
|
||||
mock_response.status_code = 200
|
||||
mock_response.json.return_value = {
|
||||
"choices": [
|
||||
{
|
||||
"message": {
|
||||
"role": "assistant",
|
||||
"content": (
|
||||
"Cursas en el Aula 102 del Edificio Central a las 18:30 hs.\n"
|
||||
"OPCIONES: [Ver Cartelera | Mis Materias | Ayuda]"
|
||||
)
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
mock_response.raise_for_status = MagicMock()
|
||||
|
||||
with patch("httpx.AsyncClient.post", new_callable=AsyncMock) as mock_post:
|
||||
mock_post.return_value = mock_response
|
||||
|
||||
res = client.post("/api/chat", json={
|
||||
"messages": [{"role": "user", "content": "¿Dónde curso hoy?"}],
|
||||
"user_role": "alumno"
|
||||
})
|
||||
assert res.status_code == 200
|
||||
data = res.json()
|
||||
assert "response" in data
|
||||
assert "Aula 102" in data["response"]
|
||||
# Verificar que la etiqueta OPCIONES: fue removida del texto para mantenerlo limpio
|
||||
assert "OPCIONES:" not in data["response"]
|
||||
# Verificar que quick_options contiene los botones extraídos
|
||||
assert "quick_options" in data
|
||||
assert len(data["quick_options"]) == 3
|
||||
assert "Ver Cartelera" in data["quick_options"]
|
||||
|
||||
|
||||
def test_rag_reindex_endpoint_admin_security(init_database):
|
||||
"""Valida que la reindexación manual requiera rol de Administrador."""
|
||||
client = TestClient(app)
|
||||
|
||||
# 1. Sin autenticar debe responder 401
|
||||
unauth_res = client.post("/api/chat/rag/reindex")
|
||||
assert unauth_res.status_code == 401
|
||||
|
||||
# 2. Con usuario Admin
|
||||
admin_u = User(
|
||||
email="admin.rag@unicaba.edu.ar",
|
||||
name="Admin RAG",
|
||||
password_hash=generate_password_hash("SecretAdminRAG!"),
|
||||
role="ADMIN",
|
||||
is_active=True
|
||||
)
|
||||
init_database.session.add(admin_u)
|
||||
init_database.session.commit()
|
||||
|
||||
login_res = client.post("/api/v1/auth/login", json={
|
||||
"email": "admin.rag@unicaba.edu.ar",
|
||||
"password": "SecretAdminRAG!"
|
||||
})
|
||||
token = login_res.json()["access_token"]
|
||||
headers = {"Authorization": f"Bearer {token}"}
|
||||
|
||||
reindex_res = client.post("/api/chat/rag/reindex", headers=headers)
|
||||
assert reindex_res.status_code == 200
|
||||
data = reindex_res.json()
|
||||
assert data["status"] == "success"
|
||||
assert data["indexed_chunks"] >= 10
|
||||
Reference in New Issue
Block a user