Las 5 métricas para saber si un agente funciona
Un agente en producción necesita números para decidir si sigue, se ajusta o se apaga. Estas cinco métricas cubren lo esencial y se calculan con datos que ya tienes o puedes registrar desde el primer día.
Antes de medir: define la tarea
Una métrica sin una tarea clara no dice nada. Escribe en una frase qué hace el agente y cuándo una tarea está terminada.
Ejemplo: "Una tarea es una factura vencida. Termina cuando se registra el pago o se deriva a una persona."
Con esa definición, cada tarea tiene un inicio, un fin y un resultado. Todo lo demás se mide sobre esa unidad.
Qué registrar en cada tarea
Diseña el log antes del build. Cada tarea guarda como mínimo:
| Campo | Ejemplo |
|---|---|
| id_tarea | FAC-2026-0412 |
| inicio y fin | marcas de tiempo |
| resultado | resuelta, escalada, fallida |
| acciones del agente | lista con hora y tipo |
| intervención humana | sí o no, y minutos dedicados |
| costo de modelo | tokens de entrada y salida |
| costo de APIs | llamadas externas |
| corrección posterior | sí o no |
Si el log no existe, las métricas se vuelven opiniones.
Métrica 1: tasa de resolución autónoma
Fórmula: tareas resueltas sin intervención humana / tareas totales.
Mide cuánto trabajo absorbe el agente. Ojo con la definición de "resuelta". Una tarea que el agente cerró y luego alguien corrigió no cuenta como resuelta.
Cómo leerla:
- Si sube y la tasa de error se mantiene, el agente mejora.
- Si sube y la tasa de error también sube, el agente está cerrando casos que no debería.
No hay un valor correcto universal. Fija una meta según el costo de un error en tu proceso.
Métrica 2: tasa de error
Fórmula: acciones incorrectas / acciones totales.
Una acción incorrecta es cualquier cosa que una persona tuvo que deshacer o corregir. Ejemplos: un mensaje a un cliente equivocado, un dato mal extraído, un pago mal conciliado.
Clasifica los errores por gravedad:
- Crítico: afecta dinero, datos personales o la relación con el cliente.
- Moderado: requiere corrección interna sin impacto externo.
- Menor: formato o redacción.
Mide la tasa de errores críticos por separado. Un solo error crítico puede valer más que cien menores.
Para detectarlos, revisa una muestra aleatoria cada semana. Ejemplo de supuesto: 30 tareas por semana revisadas por una persona del área.
Métrica 3: costo por tarea
Fórmula: (costo de modelo + costo de APIs + costo de infraestructura + minutos humanos × costo por minuto) / tareas totales.
Incluye siempre el tiempo humano. Un agente barato en tokens que exige diez minutos de revisión por tarea sale caro.
Ejemplo con supuestos:
| Concepto | Valor mensual (ejemplo) |
|---|---|
| Modelo | $ 400.000 |
| APIs e infraestructura | $ 250.000 |
| Revisión humana (20 h × $ 30.000) | $ 600.000 |
| Total | $ 1.250.000 |
| Tareas | 1.000 |
| Costo por tarea | $ 1.250 |
Compáralo con el costo por tarea del proceso manual, calculado con el mismo método.
Métrica 4: tiempo ahorrado
Fórmula: (tiempo manual promedio por tarea − tiempo humano promedio con agente) × tareas totales.
El tiempo manual sale de la línea base. Mídelo antes del deploy, cronometrando una muestra de tareas reales. Las estimaciones de memoria suelen estar lejos de la realidad.
Este número sirve para el ROI, pero también para decidir a qué se dedica el equipo liberado. Si nadie sabe en qué usar esas horas, el ahorro no llega al estado de resultados.
Métrica 5: tasa de escalamiento
Fórmula: tareas derivadas a una persona / tareas totales.
Parece lo inverso de la resolución autónoma, pero mide otra cosa. Te dice si las reglas de derivación están bien calibradas.
- Muy baja con errores altos: el agente debería escalar más.
- Muy alta con errores bajos: el umbral es demasiado conservador y estás pagando revisión de más.
Revisa también el motivo de cada escalamiento. Agrupa los motivos cada mes. Los tres más frecuentes son tu lista de mejoras.
Cómo armar el tablero
Un tablero simple con cinco tarjetas y una tendencia semanal alcanza. Agrega un filtro por tipo de tarea.
Define umbrales de alerta. Ejemplo: si los errores críticos pasan de 0 en una semana, se revisa el flujo antes de seguir.
Errores comunes al medir
- Medir solo lo que el agente reporta. El agente puede decir que resolvió una tarea que no resolvió. Valida con una fuente externa, como el ERP o el banco.
- Sin línea base. Sin el proceso manual medido, cualquier número parece bueno.
- Promedios que esconden colas. Mira también los casos más lentos y más caros.
- Cambiar la definición de tarea a mitad de camino. Si la cambias, reinicia la serie.
- Revisar solo errores reportados por clientes. Muchos errores nunca se reportan.
Checklist de medición
Preguntas frecuentes
¿Cuántas tareas necesito para que las métricas sirvan?
Depende de la variabilidad del proceso. Como referencia práctica, espera a tener al menos unos cientos de tareas antes de sacar conclusiones fuertes. Con menos, mira tendencias y casos individuales.
¿Puedo usar otro modelo de IA para evaluar al agente?
Sirve como filtro inicial para revisar más volumen. La validación final de errores críticos debe hacerla una persona o una fuente de verdad, como el ERP.
¿Qué métrica muestro a la gerencia?
Costo por tarea y tiempo ahorrado, junto con la tasa de errores críticos. Las tres juntas responden si el agente vale lo que cuesta y si es seguro.