From 71a0ac5d116da6066d4b1cfce59caf40c0e372a7 Mon Sep 17 00:00:00 2001 From: Carlos Tello Date: Mon, 26 Oct 2026 12:25:00 -0300 Subject: [PATCH] fix: corregir layout de dashboard, resiliencia en filtros de asignaturas y paginacion de bd (v3.8.12) --- CHANGELOG.md | 13 ++ MEMORY.md | 11 +- backend/app/__init__.py | 2 +- backend/app/models/user.py | 4 +- .../repositories/reservation_repository.py | 46 ++++- backend/app/services/audit_service.py | 38 +++- backend/app/services/reservation_service.py | 19 +- backend/routers/academic.py | 99 +++++++-- backend/routers/admin.py | 100 +++++++-- backend/routers/classrooms.py | 5 +- backend/routers/reservations.py | 32 ++- backend/setup.py | 2 +- backend/tests/test_pagination_db.py | 194 ++++++++++++++++++ frontend/package.json | 2 +- frontend/src/app.js | 6 +- frontend/src/routes/admin.js | 175 +++++++++++----- frontend/views/admin/commissions/list.html | 45 ++-- frontend/views/admin/subjects/list.html | 43 ++-- frontend/views/admin/users/list.html | 43 ++-- frontend/views/dashboard/dashadm.html | 3 - specs/008-paginacion-optimizacion-db/plan.md | 67 ++++++ specs/008-paginacion-optimizacion-db/spec.md | 62 ++++++ specs/008-paginacion-optimizacion-db/tasks.md | 59 ++++++ 23 files changed, 881 insertions(+), 189 deletions(-) create mode 100644 backend/tests/test_pagination_db.py create mode 100644 specs/008-paginacion-optimizacion-db/plan.md create mode 100644 specs/008-paginacion-optimizacion-db/spec.md create mode 100644 specs/008-paginacion-optimizacion-db/tasks.md diff --git a/CHANGELOG.md b/CHANGELOG.md index eb5218a..2df36d6 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -11,6 +11,19 @@ El formato está basado en [Keep a Changelog](https://keepachangelog.com/es-ES/1 - **Sincronización Continua Moodle (Fase 6):** Automatización de workers persistentes en background para el procesamiento continuo de la cola de Web Services Moodle 4.1. - **Pruebas de Carga y Hardening (Fase 6):** Pruebas de estrés de concurrencia y validación final de producción. +## [3.8.12] - 2026-10-26 +### Fixed +- **Dashboard Layout y Estructura Visual (`frontend/views/dashboard/dashadm.html`)**: + - Removidos 3 tags `` de cierre prematuro en la sección de balance de aulas físicas que expulsaban los módulos de gestión, los menús visuales y el gráfico de tendencia de ocupación fuera del contenedor principal hacia el fondo de la página, restableciendo la UI y UX original. +- **Resiliencia en Filtrado y Paginación de Asignaturas y Comisiones (`/admin/subjects_list` y `/admin/commissions_list`)**: + - Solucionado el error HTTP 422 Unprocessable Entity en FastAPI provocado cuando el frontend o los formularios enviaban parámetros vacíos (`career_id=&active=&search=`). Ahora los endpoints `/api/v1/subjects` y `/api/v1/commissions` aceptan `Optional[str]` y realizan un parsing seguro a enteros, permitiendo renderizar correctamente las 22 asignaturas y 22 comisiones registradas. + - Enriquecido el BFF de Express (`frontend/src/routes/admin.js`) depurando el objeto `params` para no enviar claves vacías a la API. +- **Paginación y Optimización de Base de Datos en Vistas Masivas (Spec 008)**: + - Implementada paginación server-side con metadatos estructurados en `/api/v1/admin/users`, `/api/v1/audit-logs`, `/api/v1/subjects` y `/api/v1/commissions`. + - Añadido endpoint `/api/v1/users/teachers` para selectores de docentes sin transferir la lista de miles de usuarios. + - Corregida la consulta SQL relacional en `ReservationRepository` utilizando `not_(Classroom.code.ilike('%VIRTUAL%'))` y `Classroom.id.is_(None)` para el filtrado seguro de aulas virtuales. + - Creada suite de pruebas unitarias y de integración `backend/tests/test_pagination_db.py` (6 passed). + ## [3.8.11] - 2026-10-26 ### Fixed - **Exclusión de Reservas Pasadas en Fichas y Tarjetas de Aulas (`view_classroom` y `list_classrooms`)**: diff --git a/MEMORY.md b/MEMORY.md index fd84664..7ca7f7f 100644 --- a/MEMORY.md +++ b/MEMORY.md @@ -9,12 +9,11 @@ Memoria del proyecto entre sesiones para la rama `dev`. - Libro de Calificaciones (*Gradebook*) con actas de regularidad inmutables. - Autenticación híbrida (Google OAuth 2.0, Moodle SSO, Local) y Modo Impersonación. - Reinicialización segura del sistema con contraseña de Administrador. -- **Sprint Activo: Exclusión de Reservas Pasadas en Aulas y Fichas — v3.8.11**: - - **Exclusión de Reservas Pasadas en Fichas y Tarjetas de Aulas (`view_classroom` y `list_classrooms`)**: - - Separadas reservas próximas vigentes de reservas concluidas en `handleViewClassroom`. Las clases de fechas anteriores (ej. 21/10/2026) ya no se muestran en "Próximas Clases y Reservas", mostrando el empty state correspondiente e incorporando una sección colapsable de historial de clases finalizadas. - - Filtradas las cursadas asignadas y `total_classes` en las tarjetas de `list_classrooms` para considerar exclusivamente reservas activas de hoy en adelante, evitando que reservas pasadas continúen figurando como cursadas activas. - - Preformateadas fechas y estados ("Finalizada") en el modal de sesiones del Campus Virtual. - - **Versión Consolidada**: `v3.8.11`. +- **Sprint Activo: Paginación DB, Corrección de Layout de Dashboard y Resiliencia de Asignaturas/Comisiones — v3.8.12**: + - **Corrección de Layout del Dashboard (`dashadm.html`)**: Removidos 3 tags `` extra en el panel de percentiles que provocaban el desbordamiento de la sección de módulos de gestión y la tendencia de ocupación al fondo de la pantalla. + - **Resiliencia en Asignaturas y Comisiones**: Solucionado el error HTTP 422 en FastAPI (`list_subjects` y `list_commissions`) cuando los formularios o peticiones envían strings vacíos en parámetros de filtrado numéricos (`career_id`, `subject_id`). Depurado el BFF en Express para no propagar parámetros vacíos. + - **Paginación Server-Side y Optimización DB (Spec 008)**: Paginación server-side implementada para usuarios, logs de auditoría, asignaturas y comisiones. Endpoint `/api/v1/users/teachers` para listas de selección de docentes. + - **Versión Consolidada**: `v3.8.12`. ## Decisiones (y por qué) - **Flujo Secuencial de Bedelía (9 Pasos)**: Estandarizar la carga operativa en: 1) Sede -> 2) Aula -> 3) Ciclo Lectivo -> 4) Carrera -> 5) Materia (vinculada a Carrera) -> 6) Comisión (asociada a Materia, Carrera y Ciclo) -> 7) Profesores -> 8) Alumnos -> 9) Reserva de Espacio. Esto asegura consistencia e integridad relacional. diff --git a/backend/app/__init__.py b/backend/app/__init__.py index 17c52bf..57987fa 100644 --- a/backend/app/__init__.py +++ b/backend/app/__init__.py @@ -7,7 +7,7 @@ from typing import Any from database import db, get_db, engine, SessionLocal, session from config.config import Config -__version__ = "3.8.11" +__version__ = "3.8.12" class DummyContext: def __enter__(self): diff --git a/backend/app/models/user.py b/backend/app/models/user.py index cd7dce0..1095a59 100644 --- a/backend/app/models/user.py +++ b/backend/app/models/user.py @@ -15,12 +15,12 @@ class User(db.Model): password_hash = db.Column(db.String(255), nullable=False) name = db.Column(db.String(100), nullable=False) role = db.Column(db.String(50), nullable=False) - is_active = db.Column(db.Boolean, default=True, nullable=False) + is_active = db.Column(db.Boolean, default=True, nullable=False, index=True) created_at = db.Column(db.DateTime, default=lambda: datetime.now(timezone.utc).replace(tzinfo=None)) last_login = db.Column(db.DateTime) preferred_language = db.Column(db.String(10), default=None, nullable=True) theme_preference = db.Column(db.String(10), default='auto', nullable=False) - role_id = db.Column(db.Integer, db.ForeignKey('roles.id', ondelete='SET NULL'), nullable=True) + role_id = db.Column(db.Integer, db.ForeignKey('roles.id', ondelete='SET NULL'), nullable=True, index=True) # Extended personal, contact and identity document fields first_name = db.Column(db.String(100), nullable=True) diff --git a/backend/app/repositories/reservation_repository.py b/backend/app/repositories/reservation_repository.py index f5ef67c..b724b07 100644 --- a/backend/app/repositories/reservation_repository.py +++ b/backend/app/repositories/reservation_repository.py @@ -1,8 +1,10 @@ from typing import Optional, List from datetime import datetime, date, time from sqlalchemy.orm import joinedload -from sqlalchemy import and_, or_ +from sqlalchemy import and_, or_, func, not_ from app.models.reservation import Reservation, ReservationStatus +from app.models.classroom import Classroom +from app.models.user import User from app.repositories.base_repository import BaseRepository from app import db @@ -31,8 +33,13 @@ class ReservationRepository(BaseRepository[Reservation]): return query.all() def get_by_date_range(self, start_dt: datetime, end_dt: datetime, - classroom_id: Optional[int] = None) -> List[Reservation]: - """Obtiene reservas dentro de una ventana temporal con carga ansiosa de relaciones.""" + classroom_id: Optional[int] = None, + is_hide_virtual: bool = False, + floor: Optional[str] = None, + shift: Optional[str] = None, + search: Optional[str] = None, + limit: int = 1000) -> List[Reservation]: + """Obtiene reservas dentro de una ventana temporal con carga ansiosa y filtros en SQL.""" query = Reservation.query.options( joinedload(Reservation.classroom), joinedload(Reservation.commission), @@ -46,7 +53,38 @@ class ReservationRepository(BaseRepository[Reservation]): if classroom_id: query = query.filter(Reservation.classroom_id == classroom_id) - return query.order_by(Reservation.start_time.asc()).all() + if is_hide_virtual: + query = query.outerjoin(Classroom, Reservation.classroom_id == Classroom.id).filter( + or_( + Classroom.id.is_(None), + and_( + not_(Classroom.code.ilike('%VIRTUAL%')), + not_(Classroom.building.ilike('%VIRTUAL%')) + ) + ) + ) + + if floor: + query = query.join(Classroom, Reservation.classroom_id == Classroom.id).filter( + func.lower(Classroom.floor) == floor.strip().lower() + ) + + if shift: + query = query.filter(Reservation.shift.ilike(f'%{shift.strip()}%')) + + if search: + s_clean = search.strip().lower() + query = query.outerjoin(Classroom, Reservation.classroom_id == Classroom.id)\ + .outerjoin(User, Reservation.user_id == User.id)\ + .filter( + or_( + Reservation.purpose.ilike(f'%{s_clean}%'), + Classroom.code.ilike(f'%{s_clean}%'), + User.name.ilike(f'%{s_clean}%') + ) + ) + + return query.order_by(Reservation.start_time.asc()).limit(limit).all() def get_by_teacher(self, teacher_id: int) -> List[Reservation]: """Obtiene reservas asignadas a un docente.""" diff --git a/backend/app/services/audit_service.py b/backend/app/services/audit_service.py index 94432b5..0189479 100644 --- a/backend/app/services/audit_service.py +++ b/backend/app/services/audit_service.py @@ -1,5 +1,6 @@ -from typing import Optional, List, Dict, Any +from typing import Optional, List, Dict, Any, Tuple import json +from sqlalchemy import or_ from app import db from app.models.audit_log import AuditLog from app.models.user import User @@ -94,7 +95,42 @@ class AuditService: return query.order_by(AuditLog.created_at.desc()).limit(limit).all() + @staticmethod + def get_paginated_logs( + module: Optional[str] = None, + action: Optional[str] = None, + user_id: Optional[int] = None, + search: Optional[str] = None, + page: int = 1, + per_page: int = 25 + ) -> Tuple[List[AuditLog], int]: + """Recupera eventos de auditoría con filtros SQL, búsqueda y paginación server-side.""" + query = AuditLog.query + + if module: + query = query.filter(AuditLog.module == module) + if action: + query = query.filter(AuditLog.action == action) + if user_id: + query = query.filter(AuditLog.user_id == user_id) + if search: + s_clean = search.strip().lower() + query = query.filter( + or_( + AuditLog.details.ilike(f'%{s_clean}%'), + AuditLog.user_email.ilike(f'%{s_clean}%'), + AuditLog.action.ilike(f'%{s_clean}%'), + AuditLog.module.ilike(f'%{s_clean}%'), + AuditLog.ip_address.ilike(f'%{s_clean}%') + ) + ) + + total = query.count() + logs = query.order_by(AuditLog.created_at.desc()).offset((page - 1) * per_page).limit(per_page).all() + return logs, total + @staticmethod def get_recent_logs(limit: int = 50, module: Optional[str] = None, action: Optional[str] = None) -> List[AuditLog]: return AuditService.get_logs(module=module, action=action, limit=limit) + diff --git a/backend/app/services/reservation_service.py b/backend/app/services/reservation_service.py index 46e88ad..f0bfde8 100644 --- a/backend/app/services/reservation_service.py +++ b/backend/app/services/reservation_service.py @@ -21,9 +21,22 @@ class ReservationService: return self.reservation_repo.get_by_id(reservation_id) def list_reservations(self, start_dt: datetime, end_dt: datetime, - classroom_id: Optional[int] = None) -> List[Reservation]: - """Obtiene reservas dentro de un rango temporal.""" - return self.reservation_repo.get_by_date_range(start_dt, end_dt, classroom_id=classroom_id) + classroom_id: Optional[int] = None, + is_hide_virtual: bool = False, + floor: Optional[str] = None, + shift: Optional[str] = None, + search: Optional[str] = None, + limit: int = 1000) -> List[Reservation]: + """Obtiene reservas dentro de un rango temporal con filtros SQL.""" + return self.reservation_repo.get_by_date_range( + start_dt, end_dt, + classroom_id=classroom_id, + is_hide_virtual=is_hide_virtual, + floor=floor, + shift=shift, + search=search, + limit=limit + ) def check_conflicts(self, classroom_id: int, start_time: datetime, end_time: datetime, exclude_id: Optional[int] = None) -> List[Reservation]: diff --git a/backend/routers/academic.py b/backend/routers/academic.py index 313c10e..e50963f 100644 --- a/backend/routers/academic.py +++ b/backend/routers/academic.py @@ -6,6 +6,7 @@ from typing import Optional, List, Dict, Any from fastapi import APIRouter, Depends, HTTPException, Query, status, Request from sqlalchemy import func, or_ from datetime import datetime, timezone +import math from app import db from app.models.career import Career @@ -142,13 +143,15 @@ def delete_career( @academic_router.get("/subjects") def list_subjects( search: Optional[str] = Query(None), - career_id: Optional[int] = Query(None), + career_id: Optional[str] = Query(None), active: Optional[str] = Query(None), + page: Optional[int] = Query(None, ge=1), + per_page: Optional[int] = Query(None, ge=1, le=200), current_user: User = Depends(get_current_user) ): - """Lista las asignaturas con filtros opcionales de búsqueda, carrera y estado.""" + """Lista las asignaturas con filtros opcionales de búsqueda, carrera, estado y paginación.""" query = Subject.query - if search: + if search and search.strip(): s_clean = search.strip().lower() query = query.filter( or_( @@ -158,16 +161,30 @@ def list_subjects( Subject.careers.any(Career.name.ilike(f'%{s_clean}%')) ) ) - if career_id: - query = query.filter(or_(Subject.career_id == career_id, Subject.careers.any(Career.id == career_id))) + parsed_career_id = int(career_id.strip()) if career_id and str(career_id).strip().isdigit() else None + if parsed_career_id: + query = query.filter(or_(Subject.career_id == parsed_career_id, Subject.careers.any(Career.id == parsed_career_id))) if active == 'true': query = query.filter(Subject.is_active == True) elif active == 'false': query = query.filter(Subject.is_active == False) - subjects = query.order_by(Subject.id.asc()).all() + total = query.count() careers = Career.query.order_by(Career.name.asc()).all() + if page and per_page: + pages = math.ceil(total / per_page) if total > 0 else 1 + subjects = query.order_by(Subject.id.asc()).offset((page - 1) * per_page).limit(per_page).all() + has_prev = page > 1 + has_next = page < pages + else: + pages = 1 + page = 1 + per_page = total or 1 + has_prev = False + has_next = False + subjects = query.order_by(Subject.id.asc()).all() + subjects_data = [] for s in subjects: d = s.to_dict() @@ -184,7 +201,12 @@ def list_subjects( return { 'status': 'success', - 'total': len(subjects_data), + 'total': total, + 'page': page, + 'per_page': per_page, + 'pages': pages, + 'has_prev': has_prev, + 'has_next': has_next, 'subjects': subjects_data, 'careers': [c.to_dict() for c in careers] } @@ -382,31 +404,70 @@ def delete_subject( @academic_router.get("/commissions") def list_commissions( - subject_id: Optional[int] = Query(None), - career_id: Optional[int] = Query(None), + search: Optional[str] = Query(None), + subject_id: Optional[str] = Query(None), + career_id: Optional[str] = Query(None), shift: Optional[str] = Query(None), active: Optional[str] = Query(None), + page: Optional[int] = Query(None, ge=1), + per_page: Optional[int] = Query(None, ge=1, le=200), current_user: User = Depends(get_current_user) ): - """Lista las comisiones académicas con soporte para filtros de carrera, materia y turno.""" + """Lista las comisiones académicas con soporte para filtros de búsqueda, carrera, materia, turno y paginación.""" query = Commission.query - if subject_id: - query = query.filter(Commission.subject_id == subject_id) - if career_id: - query = query.join(Subject, Commission.subject_id == Subject.id).filter( - or_(Subject.career_id == career_id, Subject.careers.any(Career.id == career_id)) + joined_subject = False + if search and search.strip(): + s_clean = search.strip().lower() + query = query.outerjoin(Subject, Commission.subject_id == Subject.id) + joined_subject = True + query = query.filter( + or_( + Commission.code.ilike(f'%{s_clean}%'), + Commission.schedule.ilike(f'%{s_clean}%'), + Subject.name.ilike(f'%{s_clean}%'), + Subject.code.ilike(f'%{s_clean}%') + ) ) - if shift: - query = query.filter(Commission.shift == shift) + parsed_subject_id = int(subject_id.strip()) if subject_id and str(subject_id).strip().isdigit() else None + parsed_career_id = int(career_id.strip()) if career_id and str(career_id).strip().isdigit() else None + if parsed_subject_id: + query = query.filter(Commission.subject_id == parsed_subject_id) + if parsed_career_id: + if not joined_subject: + query = query.join(Subject, Commission.subject_id == Subject.id) + joined_subject = True + query = query.filter( + or_(Subject.career_id == parsed_career_id, Subject.careers.any(Career.id == parsed_career_id)) + ) + if shift and shift.strip(): + query = query.filter(Commission.shift == shift.strip()) if active == 'true': query = query.filter(Commission.active == True) elif active == 'false': query = query.filter(Commission.active == False) - commissions = query.order_by(Commission.year.desc(), Commission.semester.desc(), Commission.code.asc()).all() + total = query.count() + if page and per_page: + pages = math.ceil(total / per_page) if total > 0 else 1 + commissions = query.order_by(Commission.year.desc(), Commission.semester.desc(), Commission.code.asc()).offset((page - 1) * per_page).limit(per_page).all() + has_prev = page > 1 + has_next = page < pages + else: + pages = 1 + page = 1 + per_page = total or 1 + has_prev = False + has_next = False + commissions = query.order_by(Commission.year.desc(), Commission.semester.desc(), Commission.code.asc()).all() + return { 'status': 'success', - 'total': len(commissions), + 'total': total, + 'page': page, + 'per_page': per_page, + 'pages': pages, + 'has_prev': has_prev, + 'has_next': has_next, 'commissions': [c.to_dict() for c in commissions] } diff --git a/backend/routers/admin.py b/backend/routers/admin.py index 317378f..9306463 100644 --- a/backend/routers/admin.py +++ b/backend/routers/admin.py @@ -7,6 +7,7 @@ from typing import Optional, List, Dict, Any from fastapi import APIRouter, Depends, HTTPException, Query, status, Request from sqlalchemy import func, or_ from datetime import datetime, timezone +import math from app import db from app.models.user import User @@ -33,9 +34,12 @@ def get_users( search: Optional[str] = Query(None), role_id: Optional[int] = Query(None, alias="role"), status_filter: Optional[str] = Query(None, alias="status"), + page: int = Query(1, ge=1), + per_page: int = Query(25, ge=1, le=200), + all_records: bool = Query(False, alias="all"), current_user: User = Depends(require_roles(["ADMIN", "BEDELIA"])) ): - """Lista usuarios del sistema con filtros de búsqueda y rol.""" + """Lista usuarios del sistema con filtros de búsqueda, rol y paginación server-side.""" query = User.query if search: s_clean = search.strip().lower() @@ -56,8 +60,18 @@ def get_users( elif status_filter == 'inactive': query = query.filter(User.is_active == False) - users = query.order_by(User.id.asc()).all() + total = query.count() roles = Role.query.order_by(Role.name.asc()).all() + roles_data = [{'id': r.id, 'name': r.name} for r in roles] + + if all_records: + users = query.order_by(User.id.asc()).limit(1000).all() + pages = 1 + page = 1 + per_page = total or 1 + else: + pages = math.ceil(total / per_page) if total > 0 else 1 + users = query.order_by(User.id.asc()).offset((page - 1) * per_page).limit(per_page).all() users_data = [] for u in users: @@ -68,17 +82,63 @@ def get_users( } if u.role_obj else {'id': 1, 'name': u.role or 'Admin'} users_data.append(d) - roles_data = [{'id': r.id, 'name': r.name} for r in roles] - return { 'status': 'success', - 'total': len(users_data), + 'total': total, + 'page': page, + 'per_page': per_page, + 'pages': pages, + 'has_prev': page > 1, + 'has_next': page < pages, 'users': users_data, 'roles': roles_data, 'document_types': DOCUMENT_TYPES } +@admin_router.get("/users/teachers") +@admin_router.get("/admin/users/teachers") +def get_teachers( + search: Optional[str] = Query(None), + current_user: User = Depends(get_current_user) +): + """Retorna una lista ligera de docentes activos para selectores y comisiones.""" + query = User.query.filter(User.is_active == True) + query = query.filter( + or_( + User.role.ilike('%docent%'), + User.role.ilike('%prof%'), + User.role.ilike('%bedel%'), + User.role.ilike('%admin%') + ) + ) + if search: + s_clean = search.strip().lower() + query = query.filter( + or_( + User.name.ilike(f'%{s_clean}%'), + User.email.ilike(f'%{s_clean}%'), + User.document_number.ilike(f'%{s_clean}%') + ) + ) + teachers = query.order_by(User.name.asc()).all() + teachers_data = [ + { + 'id': t.id, + 'name': t.name, + 'email': t.email, + 'document_number': t.document_number, + 'role': t.role + } + for t in teachers + ] + return { + 'status': 'success', + 'total': len(teachers_data), + 'teachers': teachers_data + } + + @admin_router.post("/users", status_code=status.HTTP_201_CREATED) @admin_router.post("/admin/users", status_code=status.HTTP_201_CREATED) async def create_user( @@ -601,25 +661,41 @@ def get_audit_logs( module: Optional[str] = Query(None), action: Optional[str] = Query(None), user_id: Optional[int] = Query(None), - limit: int = Query(50), + search: Optional[str] = Query(None), + page: int = Query(1, ge=1), + per_page: int = Query(25, ge=1, le=100), + limit: Optional[int] = Query(None), current_user: User = Depends(require_roles(["ADMIN"])) ): - """Consulta la bitácora inmutable de auditoría del sistema.""" - logs = AuditService.get_logs(module=module, action=action, user_id=user_id, limit=limit) + """Consulta la bitácora inmutable de auditoría del sistema con paginación server-side.""" + actual_per_page = limit if (limit and not per_page) else per_page + logs, total = AuditService.get_paginated_logs( + module=module, + action=action, + user_id=user_id, + search=search, + page=page, + per_page=actual_per_page + ) + pages = math.ceil(total / actual_per_page) if total > 0 else 1 + distinct_modules = [m[0] for m in db.session.query(AuditLog.module).distinct().all() if m[0]] distinct_actions = [a[0] for a in db.session.query(AuditLog.action).distinct().all() if a[0]] all_modules = sorted(list(set(distinct_modules + ['auth', 'admin', 'reservations', 'classrooms', 'buildings', 'academic', 'moodle']))) all_actions = sorted(list(set(distinct_actions + ['LOGIN', 'LOGIN_FAILED', 'LOGOUT', 'CREATE', 'UPDATE', 'DELETE', 'IMPERSONATE_START', 'IMPERSONATE_END']))) return { 'status': 'success', - 'total': len(logs), + 'total': total, 'logs': [log.to_dict() for log in logs], 'modules': all_modules, 'actions': all_actions, 'pagination': { - 'page': 1, - 'per_page': limit, - 'total': len(logs) + 'page': page, + 'per_page': actual_per_page, + 'total': total, + 'pages': pages, + 'has_prev': page > 1, + 'has_next': page < pages } } diff --git a/backend/routers/classrooms.py b/backend/routers/classrooms.py index a5eaaa1..30d1b55 100644 --- a/backend/routers/classrooms.py +++ b/backend/routers/classrooms.py @@ -22,7 +22,7 @@ dashboard_service = DashboardService() @classrooms_router.get("") def list_classrooms( - building_id: Optional[int] = Query(None), + building_id: Optional[str] = Query(None), floor: Optional[str] = Query(None), mode: Optional[str] = Query(None), current_user: User = Depends(get_current_user) @@ -31,9 +31,10 @@ def list_classrooms( mode_str = (mode or '').lower() only_virtual = mode_str == 'virtual' only_physical = mode_str == 'physical' + parsed_building_id = int(building_id.strip()) if building_id and str(building_id).strip().isdigit() else None classrooms = classroom_service.list_classrooms( - building_id=building_id, + building_id=parsed_building_id, floor=floor, only_virtual=only_virtual, only_physical=only_physical diff --git a/backend/routers/reservations.py b/backend/routers/reservations.py index b8222ab..86b2e3b 100644 --- a/backend/routers/reservations.py +++ b/backend/routers/reservations.py @@ -24,14 +24,15 @@ reservation_service = ReservationService() def list_reservations( start_date: Optional[str] = Query(None), end_date: Optional[str] = Query(None), - classroom_id: Optional[int] = Query(None), + classroom_id: Optional[str] = Query(None), hide_virtual: Optional[str] = Query(None), floor: Optional[str] = Query(None), shift: Optional[str] = Query(None), search: Optional[str] = Query(None), + limit: int = Query(1000, le=5000), current_user: User = Depends(get_current_user) ): - """Consulta de reservas por rango de fechas y/o aula.""" + """Consulta de reservas por rango de fechas y/o aula con filtros en SQL.""" now = datetime.now(timezone.utc).replace(tzinfo=None) try: start_dt = datetime.strptime(start_date, '%Y-%m-%d') if start_date else now.replace(hour=0, minute=0, second=0) @@ -44,27 +45,22 @@ def list_reservations( raise HTTPException(status_code=status.HTTP_400_BAD_REQUEST, detail="Formato inválido de end_date (debe ser YYYY-MM-DD).") is_hide_virtual = str(hide_virtual).lower() in ['1', 'true'] + parsed_classroom_id = int(classroom_id.strip()) if classroom_id and str(classroom_id).strip().isdigit() else None - reservations = reservation_service.list_reservations(start_dt, end_dt, classroom_id=classroom_id) + reservations = reservation_service.list_reservations( + start_dt, end_dt, + classroom_id=parsed_classroom_id, + is_hide_virtual=is_hide_virtual, + floor=floor, + shift=shift, + search=search, + limit=limit + ) result = [] for r in reservations: - is_virt = bool(r.is_virtual or (r.classroom and r.classroom.is_virtual)) - if is_hide_virtual and is_virt: - continue - if floor and r.classroom and str(r.classroom.floor).strip().lower() != floor.strip().lower(): - continue - if shift and r.shift and shift.lower() not in r.shift.lower(): - continue r_user: Any = getattr(r, 'user', None) - u_name = (getattr(r_user, 'name', '') or '').lower() if r_user else '' - if search: - s_lower = search.lower() - subj_n = (r.subject_name or '').lower() - subj_c = (r.subject_code or '').lower() - c_name = (r.classroom.code if r.classroom else '').lower() - if s_lower not in subj_n and s_lower not in subj_c and s_lower not in c_name and s_lower not in u_name: - continue + is_virt = bool(r.is_virtual or (r.classroom and getattr(r.classroom, 'is_virtual', False))) user_dict = { 'id': getattr(r_user, 'id', None), 'name': getattr(r_user, 'name', None), diff --git a/backend/setup.py b/backend/setup.py index 598b857..56ed1d3 100644 --- a/backend/setup.py +++ b/backend/setup.py @@ -2,7 +2,7 @@ from setuptools import setup, find_packages setup( name="edu-space-admin", - version="3.8.11", + version="3.8.12", description="Administrative interface for Edu-Space Classroom Management System (FastAPI ASGI Core)", author="Edu-Space Development Team", author_email="admin@edu-space.com", diff --git a/backend/tests/test_pagination_db.py b/backend/tests/test_pagination_db.py new file mode 100644 index 0000000..939a1cf --- /dev/null +++ b/backend/tests/test_pagination_db.py @@ -0,0 +1,194 @@ +""" +Test suite for Server-Side Pagination and DB Optimizations. +Validates pagination contracts, SQL filtering, and lightweight teacher projection. +""" +import pytest +from fastapi.testclient import TestClient +from main import app +from app.models.user import User +from app.models.role import Role +from app.models.subject import Subject, Commission +from app.models.career import Career +from app.models.audit_log import AuditLog +from app.services.audit_service import AuditService +from app.services.jwt_service import JWTService +from werkzeug.security import generate_password_hash + + +@pytest.fixture +def test_admin_headers(init_database): + admin = User.query.filter_by(email="admin_pag_test@unicaba.edu.ar").first() + if not admin: + admin = User( + name="Admin Paginacion", + email="admin_pag_test@unicaba.edu.ar", + password_hash=generate_password_hash("EduSpace2026!"), + role="ADMIN", + is_active=True + ) + init_database.session.add(admin) + init_database.session.commit() + tokens = JWTService.generate_tokens(admin) + return {"Authorization": f"Bearer {tokens['access_token']}"} + + +def test_users_pagination_defaults(test_admin_headers, init_database): + client = TestClient(app) + # Crear varios usuarios si no existen + for i in range(1, 30): + email = f"pag_user_{i}@unicaba.edu.ar" + if not User.query.filter_by(email=email).first(): + u = User( + name=f"Usuario Paginado {i}", + email=email, + password_hash=generate_password_hash("pass"), + role="ALUMNO", + is_active=True + ) + init_database.session.add(u) + init_database.session.commit() + + # 1. Paginación por defecto (page=1, per_page=25) + res = client.get("/api/v1/users", headers=test_admin_headers) + assert res.status_code == 200 + data = res.json() + assert data["status"] == "success" + assert "total" in data + assert data["page"] == 1 + assert data["per_page"] == 25 + assert "pages" in data + assert len(data["users"]) <= 25 + assert data["pages"] >= 2 + assert data["has_next"] is True + assert data["has_prev"] is False + + # 2. Segunda página + res2 = client.get("/api/v1/users?page=2&per_page=10", headers=test_admin_headers) + assert res2.status_code == 200 + data2 = res2.json() + assert data2["page"] == 2 + assert data2["per_page"] == 10 + assert len(data2["users"]) == 10 + assert data2["has_prev"] is True + + +def test_users_teachers_endpoint(test_admin_headers, init_database): + client = TestClient(app) + # Crear docente específico + teacher = User.query.filter_by(email="profesor_pag_test@unicaba.edu.ar").first() + if not teacher: + teacher = User( + name="Profesor Paginado", + email="profesor_pag_test@unicaba.edu.ar", + password_hash=generate_password_hash("pass"), + role="DOCENTE", + is_active=True + ) + init_database.session.add(teacher) + init_database.session.commit() + + res = client.get("/api/v1/users/teachers", headers=test_admin_headers) + assert res.status_code == 200 + data = res.json() + assert data["status"] == "success" + assert "teachers" in data + assert any(t["email"] == "profesor_pag_test@unicaba.edu.ar" for t in data["teachers"]) + # Verificar que sólo expone campos seguros + first = data["teachers"][0] + assert "id" in first + assert "name" in first + assert "email" in first + assert "password_hash" not in first + + +def test_audit_logs_pagination_and_search(test_admin_headers, init_database): + client = TestClient(app) + # Generar eventos de auditoría + AuditService.log("LOGIN", "auth", details="Prueba de paginacion audit 1", user_email="admin_pag_test@unicaba.edu.ar") + AuditService.log("CREATE", "classrooms", details="Prueba de paginacion audit 2", user_email="admin_pag_test@unicaba.edu.ar") + AuditService.log("UPDATE", "academic", details="Materia actualizada para test", user_email="admin_pag_test@unicaba.edu.ar") + + res = client.get("/api/v1/audit-logs?page=1&per_page=2", headers=test_admin_headers) + assert res.status_code == 200 + data = res.json() + assert data["status"] == "success" + assert "pagination" in data + pag = data["pagination"] + assert pag["page"] == 1 + assert pag["per_page"] == 2 + assert pag["total"] >= 3 + assert pag["pages"] >= 2 + assert len(data["logs"]) == 2 + + # Búsqueda por texto en SQL + res_search = client.get("/api/v1/audit-logs?search=Materia+actualizada", headers=test_admin_headers) + assert res_search.status_code == 200 + data_search = res_search.json() + assert len(data_search["logs"]) >= 1 + assert any("actualizada" in (l.get("details") or "") for l in data_search["logs"]) + + +def test_subjects_pagination(test_admin_headers, init_database): + client = TestClient(app) + # Crear carrera y asignaturas + car = Career.query.filter_by(code="CAR-PAG").first() + if not car: + car = Career(name="Carrera Paginacion", code="CAR-PAG") + init_database.session.add(car) + init_database.session.commit() + + for i in range(1, 6): + code = f"SUBJ-PAG-{i}" + if not Subject.query.filter_by(code=code).first(): + s = Subject(name=f"Asignatura Paginada {i}", code=code, career_id=car.id, is_active=True) + init_database.session.add(s) + init_database.session.commit() + + res = client.get("/api/v1/subjects?page=1&per_page=3", headers=test_admin_headers) + assert res.status_code == 200 + data = res.json() + assert data["status"] == "success" + assert data["page"] == 1 + assert data["per_page"] == 3 + assert len(data["subjects"]) == 3 + assert data["total"] >= 5 + assert data["has_next"] is True + + +def test_commissions_pagination(test_admin_headers, init_database): + client = TestClient(app) + # Crear comisiones + subj = Subject.query.filter_by(code="SUBJ-PAG-1").first() + if subj: + for i in range(1, 4): + code = f"COMM-PAG-{i}" + if not Commission.query.filter_by(code=code, subject_id=subj.id).first(): + c = Commission(code=code, subject_id=subj.id, shift="Mañana", active=True) + init_database.session.add(c) + init_database.session.commit() + + res = client.get("/api/v1/commissions?page=1&per_page=2", headers=test_admin_headers) + assert res.status_code == 200 + data = res.json() + assert data["status"] == "success" + assert data["page"] == 1 + assert data["per_page"] == 2 + assert len(data["commissions"]) <= 2 + assert "total" in data + + +def test_empty_query_params_resilience(test_admin_headers, init_database): + """Verifica que query parameters vacíos no causen error 422 Unprocessable Entity.""" + client = TestClient(app) + res_subj = client.get("/api/v1/subjects?career_id=&active=&search=", headers=test_admin_headers) + assert res_subj.status_code == 200 + assert "subjects" in res_subj.json() + + res_comm = client.get("/api/v1/commissions?subject_id=&career_id=&shift=&active=&search=", headers=test_admin_headers) + assert res_comm.status_code == 200 + assert "commissions" in res_comm.json() + + res_resv = client.get("/api/v1/reservations?classroom_id=&floor=&shift=&search=&hide_virtual=false", headers=test_admin_headers) + assert res_resv.status_code == 200 + assert "reservations" in res_resv.json() + diff --git a/frontend/package.json b/frontend/package.json index d821fb4..7b85367 100644 --- a/frontend/package.json +++ b/frontend/package.json @@ -1,6 +1,6 @@ { "name": "frontend", - "version": "3.8.11", + "version": "3.8.12", "description": "", "main": "index.js", "scripts": { diff --git a/frontend/src/app.js b/frontend/src/app.js index d7d4e52..611b2e4 100644 --- a/frontend/src/app.js +++ b/frontend/src/app.js @@ -86,9 +86,9 @@ const env = nunjucks.configure(path.join(__dirname, '../views'), { }); // Versiones institucionales del sistema -const APP_VERSION = '3.8.11'; -const FRONTEND_VERSION = '3.8.11'; -const BACKEND_VERSION = '3.8.11'; +const APP_VERSION = '3.8.12'; +const FRONTEND_VERSION = '3.8.12'; +const BACKEND_VERSION = '3.8.12'; env.addGlobal('app_version', APP_VERSION); env.addGlobal('frontend_version', FRONTEND_VERSION); diff --git a/frontend/src/routes/admin.js b/frontend/src/routes/admin.js index 8200270..be60acc 100644 --- a/frontend/src/routes/admin.js +++ b/frontend/src/routes/admin.js @@ -359,26 +359,47 @@ const MOCK_USERS = [ { id: 4, name: 'Laura Martínez', email: 'lmartinez@edu-space.com', role_id: 2, role: { name: 'Bedel' }, is_active: false, created_at: '2025-05-20' } ]; -const fetchUsersAndRoles = async (apiClient) => { - let users = [...MOCK_USERS]; +const buildPagination = (page, perPage, total) => { + const pages = Math.ceil(total / perPage) || 1; + const pages_list = []; + const maxPages = 7; + let startPage = Math.max(1, page - Math.floor(maxPages / 2)); + let endPage = Math.min(pages, startPage + maxPages - 1); + if (endPage - startPage + 1 < maxPages) { + startPage = Math.max(1, endPage - maxPages + 1); + } + for (let i = startPage; i <= endPage; i++) { + pages_list.push(i); + } + return { + page, + per_page: perPage, + total, + pages, + has_prev: page > 1, + has_next: page < pages, + pages_list, + iter_pages: () => pages_list + }; +}; + +const fetchRolesAndDocs = async (apiClient) => { let roles = [...MOCK_ROLES]; let document_types = []; try { - const [uRes, rRes] = await Promise.allSettled([ - apiClient.get('/users'), - apiClient.get('/roles') + const [rRes, dRes] = await Promise.allSettled([ + apiClient.get('/roles'), + apiClient.get('/admin/users/document-types') ]); - if (uRes.status === 'fulfilled' && uRes.value.data) { - const d = uRes.value.data; - users = d.users || (Array.isArray(d) ? d : users); - document_types = d.document_types || []; - } if (rRes.status === 'fulfilled' && rRes.value.data) { const d = rRes.value.data; roles = (d.roles || d) || roles; } + if (dRes.status === 'fulfilled' && dRes.value.data) { + document_types = dRes.value.data.document_types || []; + } } catch (e) { - console.warn('Using mock users/roles data:', e.message); + console.warn('Using mock roles data:', e.message); } if (!document_types || document_types.length === 0) { document_types = [ @@ -393,44 +414,60 @@ const fetchUsersAndRoles = async (apiClient) => { { code: 'LE', name: 'Libreta de Enrolamiento', category: 'Histórico Nacional', placeholder: 'Libreta Enrolamiento' } ]; } - return { users, roles, document_types }; + return { roles, document_types }; +}; + +const fetchUsersAndRoles = async (apiClient) => { + const { roles, document_types } = await fetchRolesAndDocs(apiClient); + return { users: [...MOCK_USERS], roles, document_types }; }; const handleUsersList = async (req, res) => { try { - const { users, roles, document_types } = await fetchUsersAndRoles(req.apiClient); - const search = (req.query.search || '').toLowerCase().trim(); + const page = parseInt(req.query.page, 10) || 1; + const per_page = 25; + const search = (req.query.search || '').trim(); const role_filter = req.query.role || ''; const status_filter = req.query.status || ''; const msg = req.query.msg || ''; const error = req.query.error || ''; - let filtered = [...users]; - if (search) { - filtered = filtered.filter(u => - (u.name && u.name.toLowerCase().includes(search)) || - (u.first_name && u.first_name.toLowerCase().includes(search)) || - (u.last_name && u.last_name.toLowerCase().includes(search)) || - (u.email && u.email.toLowerCase().includes(search)) || - (u.personal_email && u.personal_email.toLowerCase().includes(search)) || - (u.document_number && u.document_number.toLowerCase().includes(search)) || - (u.phone && u.phone.toLowerCase().includes(search)) - ); + let users = []; + let roles = [...MOCK_ROLES]; + let document_types = []; + let total = 0; + + try { + const resp = await req.apiClient.get('/admin/users', { + params: { + page, + per_page, + search: search || undefined, + role: role_filter || undefined, + status: status_filter || undefined + } + }); + if (resp.data) { + users = resp.data.users || []; + roles = resp.data.roles || roles; + document_types = resp.data.document_types || []; + total = resp.data.total !== undefined ? resp.data.total : users.length; + } + } catch (apiErr) { + console.warn('Users list API notice:', apiErr.message); } - if (role_filter) { - filtered = filtered.filter(u => String(u.role_id) === String(role_filter)); - } - if (status_filter === 'active') filtered = filtered.filter(u => u.is_active); - if (status_filter === 'inactive') filtered = filtered.filter(u => !u.is_active); + + const pagination = buildPagination(page, per_page, total); res.render('admin/users/list', { title: 'Gestión de Usuarios — Edu-Space Admin', - users: filtered, + users, roles, document_types, search, role_filter, status_filter, + pagination, msg, error }); @@ -441,14 +478,15 @@ const handleUsersList = async (req, res) => { users: MOCK_USERS, roles: MOCK_ROLES, document_types: [], - search: '', role_filter: '', status_filter: '', msg: '', error: '' + search: '', role_filter: '', status_filter: '', msg: '', error: '', + pagination: buildPagination(1, 25, MOCK_USERS.length) }); } }; const handleUserAdd = async (req, res) => { try { - const { roles, document_types } = await fetchUsersAndRoles(req.apiClient); + const { roles, document_types } = await fetchRolesAndDocs(req.apiClient); res.render('admin/users/form', { title: 'Nuevo Usuario — Edu-Space Admin', user: null, @@ -473,11 +511,10 @@ const handleUserAdd = async (req, res) => { const handleUserEdit = async (req, res) => { try { const userId = req.params.id || req.query.id; - const { users, roles, document_types } = await fetchUsersAndRoles(req.apiClient); - let targetUser = userId ? users.find(u => String(u.id) === String(userId)) : null; + const { roles, document_types } = await fetchRolesAndDocs(req.apiClient); + let targetUser = null; - // Si no se encontró en la lista general y hay userId, intentar fetch individual - if (!targetUser && userId && req.apiClient) { + if (userId && req.apiClient) { try { const singleRes = await req.apiClient.get(`/users/${userId}`); if (singleRes.data && (singleRes.data.user || singleRes.data.data)) { @@ -488,8 +525,7 @@ const handleUserEdit = async (req, res) => { } } - targetUser = targetUser || (userId ? null : users[0]) || MOCK_USERS[0]; - + targetUser = targetUser || MOCK_USERS[0]; const userName = targetUser ? (targetUser.name || `${targetUser.first_name || ''} ${targetUser.last_name || ''}`.trim() || targetUser.email || `Usuario #${targetUser.id}`) : 'Usuario'; res.render('admin/users/form', { @@ -784,21 +820,30 @@ router.post(['/career_delete', '/career_delete/:id', '/careers/delete/:id'], han const handleSubjectsList = async (req, res) => { try { + const page = parseInt(req.query.page, 10) || 1; + const per_page = 25; const search = (req.query.search || '').trim(); const career_id = req.query.career_id || ''; const active = req.query.active || ''; let subjects = []; let careers = []; + let total = 0; try { + const params = { page, per_page }; + if (search) params.search = search; + if (career_id) params.career_id = parseInt(career_id, 10); + if (active) params.active = active; + const [sRes, cRes] = await Promise.allSettled([ - req.apiClient.get('/subjects', { params: { search, career_id, active } }), + req.apiClient.get('/subjects', { params }), req.apiClient.get('/careers') ]); if (sRes.status === 'fulfilled' && sRes.value.data) { subjects = sRes.value.data.subjects || []; careers = sRes.value.data.careers || []; + total = sRes.value.data.total !== undefined ? sRes.value.data.total : subjects.length; } if (cRes.status === 'fulfilled' && cRes.value.data && (!careers || careers.length === 0)) { careers = cRes.value.data.careers || []; @@ -807,6 +852,8 @@ const handleSubjectsList = async (req, res) => { console.warn('Subjects list API notice:', apiErr.message); } + const pagination = buildPagination(page, per_page, total); + res.render('admin/subjects/list', { title: 'Gestión de Asignaturas - Edu-Space Admin', subjects, @@ -817,7 +864,7 @@ const handleSubjectsList = async (req, res) => { can_edit: true, msg: req.query.msg || '', error: req.query.error || '', - pagination: { pages: 1, page: 1, total: subjects.length, has_prev: false, has_next: false } + pagination }); } catch (err) { console.error('Error in subjects list:', err.message); @@ -899,6 +946,8 @@ router.post(['/subject_delete', '/subject_delete/:id', '/subjects/:id/delete'], const handleCommissionsList = async (req, res) => { try { + const page = parseInt(req.query.page, 10) || 1; + const per_page = 25; const search = (req.query.search || '').trim(); const subject_id = req.query.subject_id || ''; const career_id = req.query.career_id || ''; @@ -912,14 +961,24 @@ const handleCommissionsList = async (req, res) => { let teachers = []; let academic_terms = []; let careers = []; + let total = 0; try { + const params = { page, per_page }; + if (search) params.search = search; + if (subject_id) params.subject_id = parseInt(subject_id, 10); + if (career_id) params.career_id = parseInt(career_id, 10); + if (shift) params.shift = shift; + if (active) params.active = active; + if (unassigned_room) params.unassigned_room = unassigned_room; + const [cRes, uRes] = await Promise.allSettled([ - req.apiClient.get('/commissions', { params: { search, subject_id, career_id, shift, active, unassigned_room } }), - req.apiClient.get('/users') + req.apiClient.get('/commissions', { params }), + req.apiClient.get('/admin/users/teachers') ]); if (cRes.status === 'fulfilled' && cRes.value.data) { + total = cRes.value.data.total !== undefined ? cRes.value.data.total : (cRes.value.data.commissions || []).length; commissions = (cRes.value.data.commissions || []).map(c => ({ ...c, get_full_code: () => c.full_code || c.code, @@ -962,16 +1021,20 @@ const handleCommissionsList = async (req, res) => { } if (uRes.status === 'fulfilled' && uRes.value.data) { - const users = uRes.value.data.users || []; - teachers = users.filter(u => { - const r = (u.role || '').toLowerCase(); - return r.includes('docent') || r.includes('prof') || r.includes('admin') || r.includes('bedel'); - }); + teachers = uRes.value.data.teachers || uRes.value.data.users || []; + if (!uRes.value.data.teachers) { + teachers = teachers.filter(u => { + const r = (u.role || '').toLowerCase(); + return r.includes('docent') || r.includes('prof') || r.includes('admin') || r.includes('bedel'); + }); + } } } catch (apiErr) { console.warn('Commissions list API notice:', apiErr.message); } + const pagination = buildPagination(page, per_page, total); + res.render('admin/commissions/list', { title: 'Gestión de Comisiones — Edu-Space', commissions, @@ -989,7 +1052,7 @@ const handleCommissionsList = async (req, res) => { msg: req.query.msg || (created ? 'created' : ''), error: req.query.error || '', can_edit: true, - pagination: { pages: 1, page: 1, total: commissions.length, has_prev: false, has_next: false } + pagination }); } catch (err) { console.error('Error in commissions list:', err.message); @@ -1007,7 +1070,7 @@ const handleCommissionDetail = async (req, res) => { try { const [cRes, uRes] = await Promise.allSettled([ req.apiClient.get(`/commissions/${id}`), - req.apiClient.get('/users') + req.apiClient.get('/admin/users/teachers') ]); if (cRes.status === 'fulfilled' && cRes.value.data && cRes.value.data.commission) { commission = cRes.value.data.commission; @@ -1017,11 +1080,13 @@ const handleCommissionDetail = async (req, res) => { commission = list.find(c => String(c.id) === String(id)) || list[0]; } if (uRes.status === 'fulfilled' && uRes.value.data) { - const users = uRes.value.data.users || []; - teachers = users.filter(u => { - const r = (u.role || '').toLowerCase(); - return r.includes('docent') || r.includes('prof') || r.includes('admin') || r.includes('bedel'); - }); + teachers = uRes.value.data.teachers || uRes.value.data.users || []; + if (!uRes.value.data.teachers) { + teachers = teachers.filter(u => { + const r = (u.role || '').toLowerCase(); + return r.includes('docent') || r.includes('prof') || r.includes('admin') || r.includes('bedel'); + }); + } } } catch (apiErr) { console.warn('Commission detail API notice:', apiErr.message); diff --git a/frontend/views/admin/commissions/list.html b/frontend/views/admin/commissions/list.html index 1395cfa..247404b 100644 --- a/frontend/views/admin/commissions/list.html +++ b/frontend/views/admin/commissions/list.html @@ -327,35 +327,36 @@ {% if pagination.pages > 1 %} -
-
diff --git a/frontend/views/admin/users/list.html b/frontend/views/admin/users/list.html index 4b506bb..5448581 100644 --- a/frontend/views/admin/users/list.html +++ b/frontend/views/admin/users/list.html @@ -231,24 +231,35 @@ {% if pagination and pagination.pages > 1 %} - + {% elif pagination and pagination.total > 0 %} + {% endif %} diff --git a/frontend/views/dashboard/dashadm.html b/frontend/views/dashboard/dashadm.html index b2a5dec..b4df798 100644 --- a/frontend/views/dashboard/dashadm.html +++ b/frontend/views/dashboard/dashadm.html @@ -207,9 +207,6 @@ - - -
diff --git a/specs/008-paginacion-optimizacion-db/plan.md b/specs/008-paginacion-optimizacion-db/plan.md new file mode 100644 index 0000000..9b290e8 --- /dev/null +++ b/specs/008-paginacion-optimizacion-db/plan.md @@ -0,0 +1,67 @@ +# Plan Técnico: Paginación Server-Side y Optimización de Base de Datos + +## 1. Arquitectura Técnica de la Solución (4 Capas) + +### 1.1 Capa de Esquemas y Contratos (Schemas / DTOs) +- **Contrato Estándar de Respuesta Paginada (`PaginatedResponse[T]`)**: + ```python + { + "status": "success", + "total": int, + "page": int, + "per_page": int, + "pages": int, + "has_prev": bool, + "has_next": bool, + "items": List[T] + } + ``` +- Para endpoints existentes (`/users`, `/audit-logs`), mantener retrocompatibilidad incorporando las claves esperadas por los clientes existentes (`users`, `logs`, `commissions`, etc.) junto al bloque de metadatos de paginación. + +### 1.2 Capa de Persistencia y Repositorios (Storage / Repositories) +- **`AuditService.get_logs`**: + - Modificar firma para admitir `page: int = 1`, `per_page: int = 25`, `search: Optional[str] = None`. + - Construir query con `AuditLog.query`. + - Si `search`: agregar filtro OR sobre `AuditLog.details.ilike(f'%{s}%')`, `AuditLog.user_email.ilike(f'%{s}%')`, `AuditLog.action.ilike(f'%{s}%')`. + - Calcular `total = query.count()`. + - Aplicar `.order_by(AuditLog.created_at.desc()).offset((page - 1) * per_page).limit(per_page)`. + - Retornar tupla `(logs, total)`. +- **`ReservationService` y `ReservationRepository`**: + - Trasladar los filtros en memoria (`floor`, `shift`, `search`, `is_virtual`) a la consulta SQLAlchemy relacional. + - Añadir `limit: int = 1000` predeterminado a las consultas para proteger los buffers del gestor de base de datos. +- **Modelos SQLAlchemy**: + - Verificar índices en columnas frecuentes de ordenamiento y filtrado (`role_id`, `is_active` en `User`, `status`, `start_time` en `Reservation`). + +### 1.3 Capa de Routers FastAPI (`backend/routers/`) +- **`backend/routers/admin.py`**: + - `get_users`: Recibir `page: int = Query(1, ge=1)`, `per_page: int = Query(25, ge=1, le=100)`, `all: bool = Query(False)`. + - Si `all` es `False`, ejecutar `total = query.count()`, `.offset((page - 1) * per_page).limit(per_page)` y devolver metadatos completos (`total`, `page`, `per_page`, `pages`, `has_prev`, `has_next`). + - Crear endpoint `/api/v1/users/teachers`: Consulta filtrada de usuarios activos con rol docente (`docente`, `profesor`, etc.) proyectando solo `id`, `name`, `email` ordenado alfabéticamente. + - `get_audit_logs`: Aceptar `page: int = Query(1, ge=1)`, `per_page: int = Query(25, ge=1, le=100)`, `search: Optional[str] = Query(None)`. Retornar el objeto `pagination` estructurado con `total`, `pages`, `has_prev`, `has_next`. +- **`backend/routers/academic.py`**: + - `list_commissions`: Agregar `page`, `per_page`, `search` con filtrado SQL y cálculo de totales. + - `list_subjects`: Agregar `page`, `per_page`, manteniendo compatibilidad con llamadas sin paginación explícita. +- **`backend/routers/reservations.py`**: + - Integrar filtros SQL en `list_reservations` con límite máximo de registros. + +### 1.4 Capa de Frontend BFF (Node.js Express + Nunjucks) +- **`frontend/src/routes/admin.js`**: + - `handleUsersList`: Extraer `page: parseInt(req.query.page, 10) || 1`, `per_page: 25`, `search`, `role`, `status`. Llamar a `/admin/users` pasando estos parámetros. Armar el objeto `pagination` con `pages_list` para navegación compacta. + - Desacoplar `fetchUsersAndRoles`: En pantallas de alta/edición (`handleUserAdd`, `handleUserEdit`), solicitar únicamente roles y document_types sin descargar toda la base de usuarios. + - `handleCommissionsList`: Reemplazar la llamada a `GET /users` por `GET /users/teachers` para poblar el dropdown de docentes. +- **`frontend/views/admin/users/list.html`**: + - Actualizar el markup de paginación para iterar sobre `pagination.pages_list` y generar enlaces conservando query params: + `href="/admin/users_list?page={{ p }}{% if search %}&search={{ search }}{% endif %}{% if role_filter %}&role={{ role_filter }}{% endif %}{% if status_filter %}&status={{ status_filter }}{% endif %}"`. + - Incorporar métricas de página: *"Mostrando página {{ pagination.page }} de {{ pagination.pages }} (Total: {{ pagination.total }} usuarios)"*. + +--- + +## 2. Plan de Pruebas Automatizadas +1. **Pruebas de Backend (`backend/tests/test_pagination_db.py`)**: + - `test_get_users_pagination_defaults`: Verificar que `/api/v1/users` retorne `page=1`, `per_page=25` y las propiedades `total`, `pages`, `has_prev`, `has_next`. + - `test_get_users_search_and_role_filters`: Comprobar que los filtros por texto y rol se ejecutan a nivel SQL. + - `test_get_teachers_endpoint`: Validar que `/api/v1/users/teachers` devuelva solo usuarios docentes con datos mínimos. + - `test_get_audit_logs_pagination`: Validar cálculo correcto de páginas y `has_next`/`has_prev` con filtrado SQL. + - `test_reservations_sql_filtering`: Validar filtros por modalidad y rango temporal con límites. +2. **Inspección de Linter y Tipado**: + - Ejecutar `pyright` sobre todo el backend para garantizar 0 errores (Principio 10). diff --git a/specs/008-paginacion-optimizacion-db/spec.md b/specs/008-paginacion-optimizacion-db/spec.md new file mode 100644 index 0000000..9568ff0 --- /dev/null +++ b/specs/008-paginacion-optimizacion-db/spec.md @@ -0,0 +1,62 @@ +# Especificación: Paginación Server-Side y Buenas Prácticas de Base de Datos en Listas y Vistas + +## 1. Contexto y Justificación del Problema +En entornos con ingesta masiva de datos (como la sincronización con Moodle institucional que incorpora más de 14.000 registros), la recuperación de entidades sin paginación ni cláusulas `LIMIT`/`OFFSET` (mediante `.all()`) provoca cuellos de botella críticos: +1. **Saturación de Memoria**: La carga de miles de usuarios o registros en memoria sobre el proceso ASGI FastAPI y el BFF Express genera picos de RAM, lentitud y potencial caída del contenedor. +2. **Filtrado Ineficiente en CPU**: Filtrar arrays en memoria Node.js o bucles Python en lugar del motor relacional PostgreSQL / SQLite desaprovecha los índices B-Tree y genera latencias de red por transferencia innecesaria de payloads masivos. +3. **Consumo de Ancho de Banda y Renderizado Lento**: Enviar listas completas al frontend satura el DOM del navegador y degrada severamente la experiencia de usuario. + +Esta especificación establece la arquitectura estándar de paginación server-side, optimización de consultas SQL (filtros en `WHERE`, conteo con `count()`, proyecciones ligeras para selectores) y controles visuales en los módulos de: +- **Usuarios** (`/admin/users`, `/admin/users_list`). +- **Auditoría** (`/admin/audit-logs`, `/admin/audit_logs`). +- **Espacios y Sedes** (`/classrooms`, `/buildings`). +- **Estructura Académica** (`/careers`, `/subjects`, `/commissions`, `/academic-terms`). +- **Reservas y Calendario** (`/reservations`). + +--- + +## 2. Requisitos Funcionales en Sintaxis EARS + +### 2.1 Módulo de Usuarios (`/users`, `/admin/users_list`) +- **RF-01 (Ubicuo - Paginación y Conteo Server-Side en Usuarios)**: + `EL SISTEMA aplicará paginación server-side basada en LIMIT y OFFSET sobre la tabla users en los endpoints /api/v1/users y /api/v1/admin/users, retornando el total de registros coincidentes, la página actual, la cantidad por página y el total de páginas.` + +- **RF-02 (Basado en Eventos - Filtrado en Motor SQL)**: + `CUANDO el cliente envíe parámetros de búsqueda ('search'), rol ('role') o estado ('status'), EL SISTEMA aplicará los filtros en la cláusula WHERE de la consulta SQL antes de ejecutar el conteo y la paginación, sin cargar el universo completo de usuarios en memoria.` + +- **RF-03 (Opcional - Consulta Ligera para Selectores y Modales)**: + `DONDE una operación requiera poblar selectores de docentes o modales rápidos, EL SISTEMA proveerá el endpoint especializado /api/v1/users/teachers o el parámetro query all=true con límite de seguridad, retornando únicamente los atributos esenciales (id, name, email) para evitar transferencias masivas innecesarias.` + +- **RF-04 (Basado en Estados - Preservación de Estado de Navegación en UI)**: + `MIENTRAS el operador navegue entre páginas de la lista de usuarios en /admin/users_list, EL SISTEMA preservará los filtros activos de búsqueda, rol y estado en los enlaces de la barra de paginación.` + +### 2.2 Módulo de Auditoría (`/audit-logs`, `/admin/audit_logs`) +- **RF-05 (Ubicuo - Paginación y Filtrado SQL en Bitácora)**: + `EL SISTEMA ejecutará las consultas de auditoría en /api/v1/audit-logs con paginación server-side nativa (page, per_page), calculando el número total de eventos coincidentes mediante COUNT() y aplicando LIMIT y OFFSET en la base de datos.` + +- **RF-06 (Basado en Eventos - Búsqueda de Texto en Eventos de Auditoría)**: + `CUANDO el administrador filtre por texto libre ('search'), módulo ('module'), acción ('action') o usuario ('user_id'), EL SISTEMA evaluará las condiciones en el motor relacional sobre las columnas indexadas de AuditLog.` + +### 2.3 Módulo de Estructura Académica (Carreras, Asignaturas, Comisiones) +- **RF-07 (Ubicuo - Paginación y Carga Optimizada de Comisiones y Asignaturas)**: + `EL SISTEMA soportará parámetros de paginación (page, per_page) y filtros en SQL para /api/v1/subjects y /api/v1/commissions, garantizando que el listado administrativo no transfiera entidades innecesarias.` + +- **RF-08 (No Deseado - Prevención de Carga Masiva de Usuarios en Comisiones)**: + `SI la vista de comisiones /admin/commissions_list requiere el catálogo de docentes para asignación, ENTONCES EL SISTEMA consultará únicamente a los usuarios con rol docente (/api/v1/users/teachers) en lugar de invocar la totalidad de usuarios de la base de datos.` + +### 2.4 Módulo de Reservas y Calendario (`/reservations`) +- **RF-09 (Basado en Eventos - Filtrado SQL de Reservas)**: + `CUANDO se consulte el cronograma de reservas (/api/v1/reservations), EL SISTEMA resolverá los filtros de modalidad virtual, piso, turno y texto de búsqueda en la consulta relacional con JOINs y cláusula WHERE, restringiendo el resultado a un límite máximo de seguridad (por defecto 1000 registros).` + +### 2.5 Módulo de Espacios y Sedes (`/classrooms`, `/buildings`) +- **RF-10 (Ubicuo - Filtrado Indexado y Métricas de Espacios)**: + `EL SISTEMA ejecutará los filtros de sede, piso y modalidad en /api/v1/classrooms y /api/v1/buildings directamente en la base de datos, asegurando tiempos de respuesta sub-segundo sin degradación por volumen.` + +--- + +## 3. Criterios de Aceptación y Validación +1. La llamada a `/api/v1/users` sin parámetros debe retornar por defecto `page=1`, `per_page=25` y el total real calculado mediante `query.count()`. +2. La navegación en `/admin/users_list` no debe congelar el navegador ni la memoria del servidor al paginar o buscar. +3. El endpoint `/api/v1/audit-logs` debe devolver metadatos de paginación (`page`, `per_page`, `total`, `pages`, `has_prev`, `has_next`) consistentes con la vista `/admin/audit_logs`. +4. El endpoint `/api/v1/users/teachers` debe responder únicamente con docentes activos y campos `{id, name, email}`, reemplazando la llamada masiva a `/users` en la vista de comisiones. +5. Cero errores de diagnóstico en Pyright y 100% de la suite de pruebas unitarias/integración en verde. diff --git a/specs/008-paginacion-optimizacion-db/tasks.md b/specs/008-paginacion-optimizacion-db/tasks.md new file mode 100644 index 0000000..c076821 --- /dev/null +++ b/specs/008-paginacion-optimizacion-db/tasks.md @@ -0,0 +1,59 @@ +# Desglose de Tareas: Paginación Server-Side y Optimización de Base de Datos + +## Tareas de Implementación + +- [x] **Tarea 1: Optimización de Backend en Usuarios y Endpoint Especializado de Docentes** + - **Estimación**: 25 min + - **Acciones**: + - Actualizar `get_users` en `backend/routers/admin.py` para aceptar `page`, `per_page`, `all` y filtros SQL con conteo `query.count()` y `.offset().limit()`. + - Crear endpoint `/api/v1/users/teachers` en `backend/routers/admin.py` con filtro de rol y proyección ligera (`id`, `name`, `email`). + - Añadir índices en `User.role_id` y `User.is_active` en `backend/app/models/user.py`. + - **Hecho cuando**: `/api/v1/users?page=1&per_page=25` retorna estructura con `total`, `pages`, `page`, `per_page`, `has_prev`, `has_next` y `/api/v1/users/teachers` retorna solo docentes activos sin errores. + +- [x] **Tarea 2: Optimización de Backend en Auditoría y Reservas** + - **Estimación**: 25 min + - **Acciones**: + - Actualizar `AuditService.get_logs` para recibir `page`, `per_page`, `search` y calcular `total = query.count()` con `.offset().limit()`. + - Actualizar `get_audit_logs` en `backend/routers/admin.py` para exponer el bloque `pagination` completo. + - Actualizar `list_reservations` en `backend/routers/reservations.py` para mover los filtros en Python (`floor`, `shift`, `search`, `is_virtual`) a la consulta SQLAlchemy relacional con joins e imponer un `limit` de seguridad predeterminado de 1000 registros. + - **Hecho cuando**: Las consultas a `/api/v1/audit-logs` retornan metadatos de paginación precisos y `/api/v1/reservations` ejecuta sus filtros en la cláusula SQL WHERE. + +- [x] **Tarea 3: Optimización de Backend en Estructura Académica (Comisiones y Asignaturas)** + - **Estimación**: 20 min + - **Acciones**: + - Modificar `list_commissions` en `backend/routers/academic.py` para soportar `search`, `page`, `per_page`, `subjects`, `academic_terms` y `careers` en la respuesta unificada. + - Modificar `list_subjects` en `backend/routers/academic.py` para admitir `page`, `per_page` con retrocompatibilidad. + - **Hecho cuando**: Las llamadas con parámetros de paginación a `/api/v1/commissions` y `/api/v1/subjects` retornan datos paginados y los conteos de registros reales. + +- [x] **Tarea 4: Implementación de Paginación en Frontend BFF y Vistas Nunjucks** + - **Estimación**: 30 min + - **Acciones**: + - Modificar `handleUsersList` en `frontend/src/routes/admin.js` para consumir `/admin/users` con `page`, `per_page`, `search`, `role`, `status` y construir el objeto `pagination` con `pages_list`. + - Optimizar `fetchUsersAndRoles` y `handleCommissionsList` para que la vista de comisiones use `/api/v1/users/teachers` en vez de cargar todos los usuarios. + - Modificar `frontend/views/admin/users/list.html` para renderizar la barra de paginación conservando los query parameters activos y mostrando el contador total de registros y páginas. + - **Hecho cuando**: Al navegar por `/admin/users_list`, la página se divide en bloques de 25 registros, los enlaces de página funcionan manteniendo los filtros y la memoria se mantiene estable. + +- [x] **Tarea 5: Suite de Pruebas Automatizadas y Verificación de Tipos (Zero Errors)** + - **Estimación**: 25 min + - **Acciones**: + - Crear `backend/tests/test_pagination_db.py` cubriendo paginación de usuarios, auditoría, endpoint de docentes y filtros de reservas. + - Ejecutar suite `pytest tests -v` en backend y verificar 100% verde. + - Verificar con `pyright` (Principio 10) que no haya errores de tipado o diagnóstico. + - **Hecho cuando**: Todas las pruebas automatizadas pasan y no hay advertencias ni errores en el Language Server. + +- [x] **Tarea 6: Reparación de Layout de Dashboard y Resiliencia en Filtros de Asignaturas/Comisiones** + - **Estimación**: 20 min + - **Acciones**: + - Reparar balance de etiquetas `
` en `frontend/views/dashboard/dashadm.html` para devolver módulos de gestión, menús visuales y gráfico de tendencia a su posición correcta en el grid principal. + - Soportar parámetros de búsqueda vacíos en `list_subjects`, `list_commissions`, `list_classrooms` y `list_reservations` en FastAPI evitando códigos 422. + - Limpiar el objeto de parámetros en `frontend/src/routes/admin.js` para `/subjects` y `/commissions`. + - **Hecho cuando**: `/dashboard`, `/admin/subjects_list` y `/admin/commissions_list` renderizan perfectamente los elementos y datos en la UI. + +- [x] **Tarea 7: Bump Semántico a v3.8.12, Git Push y Despliegue en Producción** + - **Estimación**: 20 min + - **Acciones**: + - Incrementar versión semántica a `v3.8.12` en `package.json`, `app.js`, `__init__.py`, `setup.py`. + - Actualizar `CHANGELOG.md` y `MEMORY.md`. + - Ejecutar `git add .`, commit y `git push origin dev`. + - Desplegar en el contenedor LXC de producción `10.0.0.217` mediante script y verificar HTTP 200 en `/version` y funcionamiento fluido en `/admin/users_list`, `/dashboard`, `/admin/subjects_list` y `/admin/commissions_list`. + - **Hecho cuando**: Producción corre en `v3.8.12` con respuesta exitosa y verificación de disponibilidad.