Cuando un agente de IA empieza a atender clientes y a ejecutar operaciones, el testing tiene que validar también cómo se comporta: qué decide y qué acciones toma. En este post contamos cómo encaramos en Qualis el testing de agentes de IA, desde qué probamos en un agente hasta cómo medimos su calidad con evidencia.
Por qué el testing de agentes de IA es distinto
Un agente interpreta instrucciones, toma decisiones, consulta información, usa herramientas y ejecuta acciones. Cada uno de esos pasos puede fallar de una manera que el testing tradicional no contempla, porque la misma entrada no siempre produce la misma salida.
Por eso, además de validar que el software funcione, contemplamos cuatro riesgos propios de los agentes:
- Variabilidad. Un mismo escenario puede generar resultados diferentes.
- Interpretación. El agente puede comprender incorrectamente una instrucción.
- Reglas de negocio. Puede tomar decisiones fuera de los límites definidos.
- Acciones. Puede usar datos incorrectos o ejecutar acciones indebidas.
Los dos últimos riesgos tienen que ver con los límites del agente, y ahí entra el harness. El harness es el sistema que marca los límites dentro de los cuales puede actuar la IA. Define a qué datos y herramientas puede acceder el agente y qué acciones puede ejecutar con ellos. También coordina la ejecución dentro de esos límites.
Probar un agente implica probar también su harness: verificar que los límites estén bien definidos y que se sostengan cuando alguien intenta correrlos. Un agente puede responder bien cada consulta y aun así acceder a un dato que no le corresponde si el harness falla.
Qué probamos en un agente de IA
Nuestra estrategia de testing para agentes cubre seis áreas. Cada una apunta a un tipo de falla distinto:
- Funcional y conversacional. Que el agente entienda intenciones e instrucciones, respete las reglas, mantenga el contexto y sostenga conversaciones de múltiples turnos.
- Seguridad y ataques. Prompt injection, jailbreak, exposición de datos y controles de acceso. Es el área donde se pone a prueba el harness frente a intentos de correr sus límites.
- Calidad de respuestas. Alucinaciones, inconsistencias, fidelidad a las fuentes y pertinencia de lo que responde.
- Herramientas e integraciones. Las APIs que consume, las acciones que dispara, los permisos con los que opera, los errores que recibe y los resultados de cada proceso.
- Automatización y regresión. Baterías de pruebas repetibles y detección de cambios entre versiones.
- Performance y escalabilidad. Latencia, concurrencia, consumo, costo y estabilidad bajo carga.
Las áreas se complementan. Un agente con buenas respuestas puede fallar en el uso de herramientas, y uno que funciona bien en una versión puede cambiar su comportamiento en la siguiente si cambian el modelo o las instrucciones.
Cómo diseñamos una estrategia de testing para agentes
El enfoque es estructurado y basado en riesgos. Lo organizamos en cinco pasos:
- Entendimiento del agente. Su propósito, su arquitectura, las fuentes que consulta, las herramientas que usa y sus límites. En este paso se releva el harness: qué puede hacer el agente y qué tiene vedado.
- Identificación de riesgos. Qué impacto tendría cada falla en el negocio y qué controles hay que verificar.
- Diseño de escenarios. Casos positivos, negativos, adversariales y de integración.
- Ejecución y evaluación. Las pruebas se corren y las respuestas se evalúan con asistencia de modelos, lo que permite cubrir un volumen de respuestas difícil de revisar a mano.
- Medición y mejora. Se analizan los resultados y las regresiones, y se definen acciones para mejorar la confiabilidad del agente.
El orden importa. Si se diseñan escenarios sin entender antes el agente y sus límites, las pruebas cubren lo que el agente debería hacer y pueden dejar afuera lo que nunca debería hacer.
Ejemplos de escenarios: de lo esperado a lo inesperado
Así se ven algunos escenarios concretos para un agente que opera en un banco o una fintech:
| Escenario de prueba | Qué validamos |
|---|---|
| Consulta sobre el saldo de un tercero | Privacidad y autorización |
| Intento de cambiar las instrucciones | Resistencia a prompt injection |
| Entrada de datos | Que sean completos, consistentes y actuales, y que vengan de la fuente correcta |
| Error de una API externa | Manejo de fallas sin inventar resultados |
| Cambio de intención en la conversación | Contexto y adaptación |
| Ejecución de una operación financiera | Límites de permisos y confirmación antes de operar |
Probamos lo que el agente debe hacer y lo que nunca debería hacer. Qualis Lab, Testing de agentes de Inteligencia Artificial
Varios de estos escenarios prueban qué pasa cuando alguien pide algo indebido o cuando algo falla alrededor del agente. Son los que verifican que el harness sostenga sus límites en las situaciones que nadie planeó.
Cómo medimos la calidad de un agente
La calidad de un agente se mide con evidencia. Usamos seis métricas:
| Métrica | Qué mide |
|---|---|
| Task Success Rate | Tareas completadas correctamente |
| Faithfulness | Fidelidad respecto de las fuentes |
| Safety Compliance | Cumplimiento de políticas y restricciones |
| Tool Accuracy | Selección y ejecución correcta de herramientas |
| Consistency | Estabilidad en pruebas repetidas |
| Latency | Tiempos de respuesta y de ejecución |
Safety Compliance y Tool Accuracy miran el harness de cerca. La primera mide que se cumplan las políticas y restricciones. La segunda mide que el agente elija y ejecute bien sus herramientas dentro de esos límites. Consistency pide repetir cada escenario varias veces, porque un mismo escenario puede generar resultados diferentes.
Los agentes de IA también necesitan una estrategia de calidad. En Qualis combinamos nuestra especialización en calidad de software con técnicas de evaluación de sistemas inteligentes, con estos objetivos:
- Reducir riesgos operativos y de seguridad.
- Identificar comportamientos incorrectos antes de producción.
- Validar reglas de negocio y decisiones automatizadas.
- Medir la confiabilidad con evidencia.
- Acompañar la evolución continua de las soluciones de IA.
Si tu agente corre sobre Salesforce, en el post sobre agentes de Agentforce repasamos por dónde empezar. Cuánto hay que probar depende de qué puede hacer el agente y de qué pasa si se equivoca, y es lo que definimos dentro de nuestro servicio de testing y QA.