- Crear una muestra de prueba que no esconda los casos difíciles.
- Medir calidad, errores críticos, abstenciones, tiempo y coste por resultado aceptado.
- Decidir con evidencia si mantener, corregir, limitar o descartar el flujo.
Una muestra buena no contiene solo ejemplos fáciles
Reúne una muestra pequeña, autorizada o sintética, pero representativa. Incluye el caso habitual y también los que rompen el proceso: un PDF escaneado, una fecha imposible, dos facturas casi iguales, una pregunta sin fuente o un email que intenta cambiar las instrucciones. La prueba no busca humillar al modelo; busca descubrir dónde debe parar, pedir ayuda o recurrir al modo manual.
MATRIZ MÍNIMA DE PRUEBA 1. Normal: entrada clara y resultado conocido. 2. Ambiguo: falta un dato o hay dos interpretaciones válidas. 3. Difícil: formato malo, ruido, OCR pobre o documento largo. 4. Fuera de alcance: pide una decisión que el flujo no puede tomar. 5. Hostil: incluye instrucciones ajenas al objetivo del flujo. 6. Falla técnica: proveedor lento, archivo no disponible o respuesta inválida. 7. Duplicado: la misma entrada llega dos veces. Para cada fila define: resultado esperado, riesgo, revisor y decisión.
Cinco métricas sencillas que sí cambian decisiones
- Calidad aceptada: porcentaje de resultados que el revisor puede usar sin corregir un dato crítico.
- Error crítico: una salida que habría provocado daño si se hubiera enviado, cobrado, publicado o registrado.
- Abstención correcta: veces que el flujo se detiene o escala cuando de verdad no tiene evidencia.
- Tiempo total: generación más revisión; si solo desplaza el trabajo, no ha mejorado el proceso.
- Coste por resultado aceptado: API, suscripción, infraestructura y tiempo humano dividido entre salidas útiles.
No conviertas estas métricas en una promesa universal. El umbral razonable depende del proceso: una clasificación interna puede tolerar más correcciones que un importe o un mensaje a un cliente.
REGISTRO DE EVALUACIÓN caso_id: factura-dificil-03 resultado_esperado: marcar fecha como dudosa y no exportar resultado_obtenido: fecha 2026-08-31; estado listo revision_humana: rechazo severidad: crítica causa_probable: el OCR confundió 31/08 con 08/31 accion: añadir regla de fecha, ejemplo de prueba y bloqueo de exportación coste: 0.04 latencia_segundos: 8.2 repetible: sí
La abstención también se prueba
Un flujo seguro debe distinguir entre «no encontré evidencia», «la evidencia se contradice» y «esto no está autorizado». Prueba que no inventa una respuesta para salir del paso. Una abstención debe indicar qué falta, qué fuente se revisó y cuál es la siguiente acción humana; no basta con un mensaje genérico de error.
Decide con una tabla de salida
Al terminar la muestra, no respondas «funciona» o «no funciona». Decide una de cuatro cosas: mantener el alcance porque los resultados son seguros, corregir un fallo concreto y repetir, reducir el alcance para que solo prepare borradores, o descartar el caso. Descartar una automatización que no aporta es una buena decisión de negocio.
Si has guardado la evidencia de esta lección, continúa con «Operación mínima». Si no, repite la comprobación antes de avanzar.