146 lines
5.3 KiB
Python
146 lines
5.3 KiB
Python
"""
|
|
Suite de pruebas automatizadas para la arquitectura RAG y el asistente UdeCi (SDD-010).
|
|
Valida indexación de chunks, filtrado estricto por rol, relevancia semántica,
|
|
extracción de botones de opciones y endpoints administrativos.
|
|
"""
|
|
from unittest.mock import AsyncMock, patch, MagicMock
|
|
from fastapi.testclient import TestClient
|
|
from werkzeug.security import generate_password_hash
|
|
|
|
from main import app
|
|
from app.models.knowledge_chunk import KnowledgeChunk
|
|
from app.models.user import User
|
|
from app.services.rag_service import RAGService
|
|
|
|
|
|
def test_rag_reindex_default_knowledge(init_database):
|
|
"""Valida la ingesta y particionamiento de la base de conocimiento oficial."""
|
|
count = RAGService.reindex_default_knowledge()
|
|
assert count >= 10
|
|
|
|
# Verificar que los fragmentos están en la base de datos
|
|
chunks = KnowledgeChunk.query.all()
|
|
assert len(chunks) == count
|
|
roles = {c.role for c in chunks}
|
|
assert "bedelia" in roles
|
|
assert "docente" in roles
|
|
assert "alumno" in roles
|
|
assert "general" in roles
|
|
|
|
|
|
def test_rag_strict_role_filtering(init_database):
|
|
"""Valida que la recuperación semántica aísle estrictamente los permisos por rol."""
|
|
RAGService.reindex_default_knowledge()
|
|
|
|
# 1. Consulta de Alumno intentando averiguar sobre Bedelía
|
|
alumno_chunks = RAGService.search_relevant_chunks(
|
|
query="como configurar el servidor o crear carreras y comisiones de bedelia",
|
|
user_role="alumno",
|
|
limit=5
|
|
)
|
|
# Ningún fragmento para Alumno debe ser de rol 'bedelia' o 'docente'
|
|
for c in alumno_chunks:
|
|
assert c["role"] in ["alumno", "general"], f"Fuga de rol detectada: {c['role']}"
|
|
|
|
# 2. Consulta de Docente
|
|
docente_chunks = RAGService.search_relevant_chunks(
|
|
query="donde veo las actas y aulas de mis materias",
|
|
user_role="docente",
|
|
limit=5
|
|
)
|
|
for c in docente_chunks:
|
|
assert c["role"] in ["docente", "general"], f"Fuga de rol detectada: {c['role']}"
|
|
|
|
# 3. Consulta de Bedelía
|
|
bedelia_chunks = RAGService.search_relevant_chunks(
|
|
query="flujo de 9 pasos y matriz de conflictos",
|
|
user_role="bedelia",
|
|
limit=3
|
|
)
|
|
titles = [c["title"] for c in bedelia_chunks]
|
|
assert any("9 Pasos" in t for t in titles)
|
|
assert any("Conflictos" in t for t in titles)
|
|
|
|
|
|
def test_rag_semantic_relevance_ranking(init_database):
|
|
"""Verifica que los términos clave ubiquen el fragmento más idóneo en primera posición."""
|
|
RAGService.reindex_default_knowledge()
|
|
|
|
# Búsqueda específica de aulas y Google Meet para Alumno
|
|
results = RAGService.search_relevant_chunks("aula donde curso hoy meet", user_role="alumno", limit=2)
|
|
assert len(results) > 0
|
|
assert "Consulta de Aula y Horarios" in results[0]["title"]
|
|
|
|
|
|
def test_udeci_chat_endpoint_rag_with_quick_options(init_database):
|
|
"""Verifica la respuesta de UdeCi incluyendo la extracción de botones de opciones."""
|
|
client = TestClient(app)
|
|
|
|
mock_response = MagicMock()
|
|
mock_response.status_code = 200
|
|
mock_response.json.return_value = {
|
|
"choices": [
|
|
{
|
|
"message": {
|
|
"role": "assistant",
|
|
"content": (
|
|
"Cursas en el Aula 102 del Edificio Central a las 18:30 hs.\n"
|
|
"OPCIONES: [Ver Cartelera | Mis Materias | Ayuda]"
|
|
)
|
|
}
|
|
}
|
|
]
|
|
}
|
|
mock_response.raise_for_status = MagicMock()
|
|
|
|
with patch("httpx.AsyncClient.post", new_callable=AsyncMock) as mock_post:
|
|
mock_post.return_value = mock_response
|
|
|
|
res = client.post("/api/chat", json={
|
|
"messages": [{"role": "user", "content": "¿Dónde curso hoy?"}],
|
|
"user_role": "alumno"
|
|
})
|
|
assert res.status_code == 200
|
|
data = res.json()
|
|
assert "response" in data
|
|
assert "Aula 102" in data["response"]
|
|
# Verificar que la etiqueta OPCIONES: fue removida del texto para mantenerlo limpio
|
|
assert "OPCIONES:" not in data["response"]
|
|
# Verificar que quick_options contiene los botones extraídos
|
|
assert "quick_options" in data
|
|
assert len(data["quick_options"]) == 3
|
|
assert "Ver Cartelera" in data["quick_options"]
|
|
|
|
|
|
def test_rag_reindex_endpoint_admin_security(init_database):
|
|
"""Valida que la reindexación manual requiera rol de Administrador."""
|
|
client = TestClient(app)
|
|
|
|
# 1. Sin autenticar debe responder 401
|
|
unauth_res = client.post("/api/chat/rag/reindex")
|
|
assert unauth_res.status_code == 401
|
|
|
|
# 2. Con usuario Admin
|
|
admin_u = User(
|
|
email="admin.rag@unicaba.edu.ar",
|
|
name="Admin RAG",
|
|
password_hash=generate_password_hash("SecretAdminRAG!"),
|
|
role="ADMIN",
|
|
is_active=True
|
|
)
|
|
init_database.session.add(admin_u)
|
|
init_database.session.commit()
|
|
|
|
login_res = client.post("/api/v1/auth/login", json={
|
|
"email": "admin.rag@unicaba.edu.ar",
|
|
"password": "SecretAdminRAG!"
|
|
})
|
|
token = login_res.json()["access_token"]
|
|
headers = {"Authorization": f"Bearer {token}"}
|
|
|
|
reindex_res = client.post("/api/chat/rag/reindex", headers=headers)
|
|
assert reindex_res.status_code == 200
|
|
data = reindex_res.json()
|
|
assert data["status"] == "success"
|
|
assert data["indexed_chunks"] >= 10
|