Patrón
primary = call_model("stable", prompt)
shadow = call_model("candidate", prompt)
log_comparison({
"prompt_id": prompt.id,
"primary_model": "stable",
"shadow_model": "candidate",
"primary_output": primary.text,
"shadow_output": shadow.text,
"shown_to_user": "primary"
})Qué comparar
- Calidad percibida y tasa de edición humana.
- Coste y latencia.
- Fallos de formato, citas o seguridad.
- Regresiones por tipo de tarea.
No cambies el modelo ganador por una anécdota. Cambia cuando tengas suficientes casos por categoría y entiendas qué mejora y qué empeora.