Objetivos de aprendizaje
- Montar una arquitectura local reproducible para una app LLM.
- Documentar modelo, gateway, logs, evals, costes y límites.
- Dejar una checklist de salida antes de abrirlo a usuarios.
En cristiano: plataforma LLM privada. No es un único chat. Es el conjunto de piezas que permite a varias apps usar modelos con control: API, gateway, permisos, observabilidad, evals y operación.
Arquitectura del proyecto
usuario -> app web -> API propia con auth -> LiteLLM gateway -> vLLM o llama.cpp server -> Langfuse/OpenTelemetry -> promptfoo evals -> Redis para colas/caché -> dashboard de métricas
Idea clave. Ray Serve puede entrar cuando ya necesitas escalar réplicas, varios modelos o autoscaling. Para una primera plataforma privada, empieza más pequeño y medible.
Checklist de producción
- El modelo y su hash están documentados.
- El servidor no está expuesto directamente a internet.
- Hay claves por entorno, usuario o equipo.
- Hay rate limits y presupuesto.
- Las trazas muestran modelo, latencia, tokens y errores.
- Hay evals mínimas antes de cambiar prompts o modelos.
- Hay plan de fallback si el modelo local cae.
- Hay registro de versiones de modelo, prompt, dataset y runtime.
- Hay una métrica de drift o degradación revisada periódicamente.
decision_salida: estado: "piloto interno" usuarios: ["equipo soporte"] limite_diario_tokens: 500000 modelos: ["local-qwen", "backup-cloud"] datos_permitidos: ["manuales internos", "FAQs"] datos_prohibidos: ["contratos personales", "secretos", "credenciales"] siguiente_revision: "2026-07-17"
Mantenimiento y drift
Una plataforma LLM se degrada cuando cambian usuarios, documentos, prompts, modelos o expectativas. Define una revisión sencilla antes de que el sistema falle en silencio.
drift_check:
frecuencia: "semanal"
señales:
- subida_de_abstenciones
- mas_ediciones_humanas
- latencia_p95_alta
- nuevos_tipos_de_pregunta
- caída_en_eval_dataset
accion:
- revisar_trazas
- actualizar_dataset
- comparar_modelo_actual_vs_candidato
- mantener_rollback_listo Cuidado. No llames producción a una demo sin operación. Producción significa que alguien puede mantenerla cuando falla, cuesta demasiado o responde mal.
Comprueba que funciona. Apaga el backend local y lanza una petición. La app debe fallar con mensaje claro o usar fallback controlado, no quedarse esperando sin límite.
Guardar y reabrir el proyecto.
Este proyecto deja una base reutilizable: cada nuevo curso o app de Aulafy puede usar la misma puerta, trazas y evals.