Files
admin-edu-space/backend/tests/test_rag_udeci.py
T

146 lines
5.3 KiB
Python

"""
Suite de pruebas automatizadas para la arquitectura RAG y el asistente UdeCi (SDD-010).
Valida indexación de chunks, filtrado estricto por rol, relevancia semántica,
extracción de botones de opciones y endpoints administrativos.
"""
from unittest.mock import AsyncMock, patch, MagicMock
from fastapi.testclient import TestClient
from werkzeug.security import generate_password_hash
from main import app
from app.models.knowledge_chunk import KnowledgeChunk
from app.models.user import User
from app.services.rag_service import RAGService
def test_rag_reindex_default_knowledge(init_database):
"""Valida la ingesta y particionamiento de la base de conocimiento oficial."""
count = RAGService.reindex_default_knowledge()
assert count >= 10
# Verificar que los fragmentos están en la base de datos
chunks = KnowledgeChunk.query.all()
assert len(chunks) == count
roles = {c.role for c in chunks}
assert "bedelia" in roles
assert "docente" in roles
assert "alumno" in roles
assert "general" in roles
def test_rag_strict_role_filtering(init_database):
"""Valida que la recuperación semántica aísle estrictamente los permisos por rol."""
RAGService.reindex_default_knowledge()
# 1. Consulta de Alumno intentando averiguar sobre Bedelía
alumno_chunks = RAGService.search_relevant_chunks(
query="como configurar el servidor o crear carreras y comisiones de bedelia",
user_role="alumno",
limit=5
)
# Ningún fragmento para Alumno debe ser de rol 'bedelia' o 'docente'
for c in alumno_chunks:
assert c["role"] in ["alumno", "general"], f"Fuga de rol detectada: {c['role']}"
# 2. Consulta de Docente
docente_chunks = RAGService.search_relevant_chunks(
query="donde veo las actas y aulas de mis materias",
user_role="docente",
limit=5
)
for c in docente_chunks:
assert c["role"] in ["docente", "general"], f"Fuga de rol detectada: {c['role']}"
# 3. Consulta de Bedelía
bedelia_chunks = RAGService.search_relevant_chunks(
query="flujo de 9 pasos y matriz de conflictos",
user_role="bedelia",
limit=3
)
titles = [c["title"] for c in bedelia_chunks]
assert any("9 Pasos" in t for t in titles)
assert any("Conflictos" in t for t in titles)
def test_rag_semantic_relevance_ranking(init_database):
"""Verifica que los términos clave ubiquen el fragmento más idóneo en primera posición."""
RAGService.reindex_default_knowledge()
# Búsqueda específica de aulas y Google Meet para Alumno
results = RAGService.search_relevant_chunks("aula donde curso hoy meet", user_role="alumno", limit=2)
assert len(results) > 0
assert "Consulta de Aula y Horarios" in results[0]["title"]
def test_udeci_chat_endpoint_rag_with_quick_options(init_database):
"""Verifica la respuesta de UdeCi incluyendo la extracción de botones de opciones."""
client = TestClient(app)
mock_response = MagicMock()
mock_response.status_code = 200
mock_response.json.return_value = {
"choices": [
{
"message": {
"role": "assistant",
"content": (
"Cursas en el Aula 102 del Edificio Central a las 18:30 hs.\n"
"OPCIONES: [Ver Cartelera | Mis Materias | Ayuda]"
)
}
}
]
}
mock_response.raise_for_status = MagicMock()
with patch("httpx.AsyncClient.post", new_callable=AsyncMock) as mock_post:
mock_post.return_value = mock_response
res = client.post("/api/chat", json={
"messages": [{"role": "user", "content": "¿Dónde curso hoy?"}],
"user_role": "alumno"
})
assert res.status_code == 200
data = res.json()
assert "response" in data
assert "Aula 102" in data["response"]
# Verificar que la etiqueta OPCIONES: fue removida del texto para mantenerlo limpio
assert "OPCIONES:" not in data["response"]
# Verificar que quick_options contiene los botones extraídos
assert "quick_options" in data
assert len(data["quick_options"]) == 3
assert "Ver Cartelera" in data["quick_options"]
def test_rag_reindex_endpoint_admin_security(init_database):
"""Valida que la reindexación manual requiera rol de Administrador."""
client = TestClient(app)
# 1. Sin autenticar debe responder 401
unauth_res = client.post("/api/chat/rag/reindex")
assert unauth_res.status_code == 401
# 2. Con usuario Admin
admin_u = User(
email="admin.rag@unicaba.edu.ar",
name="Admin RAG",
password_hash=generate_password_hash("SecretAdminRAG!"),
role="ADMIN",
is_active=True
)
init_database.session.add(admin_u)
init_database.session.commit()
login_res = client.post("/api/v1/auth/login", json={
"email": "admin.rag@unicaba.edu.ar",
"password": "SecretAdminRAG!"
})
token = login_res.json()["access_token"]
headers = {"Authorization": f"Bearer {token}"}
reindex_res = client.post("/api/chat/rag/reindex", headers=headers)
assert reindex_res.status_code == 200
data = reindex_res.json()
assert data["status"] == "success"
assert data["indexed_chunks"] >= 10