Qualis-Lab
Qualis-Lab
ARTÍCULO · IA
#ia#testing#qa#fintech

Testing de agentes de IA: qué probar y cómo medirlo

Testing de agentes de IA paso a paso: qué probamos en un agente y con qué métricas medimos su calidad antes de llevarlo a producción.

Equipo Qualis
Editorial team
5 min lectura

Cuando un agente de IA empieza a atender clientes y a ejecutar operaciones, el testing tiene que validar también cómo se comporta: qué decide y qué acciones toma. En este post contamos cómo encaramos en Qualis el testing de agentes de IA, desde qué probamos en un agente hasta cómo medimos su calidad con evidencia.

Por qué el testing de agentes de IA es distinto

Un agente interpreta instrucciones, toma decisiones, consulta información, usa herramientas y ejecuta acciones. Cada uno de esos pasos puede fallar de una manera que el testing tradicional no contempla, porque la misma entrada no siempre produce la misma salida.

Por eso, además de validar que el software funcione, contemplamos cuatro riesgos propios de los agentes:

  • Variabilidad. Un mismo escenario puede generar resultados diferentes.
  • Interpretación. El agente puede comprender incorrectamente una instrucción.
  • Reglas de negocio. Puede tomar decisiones fuera de los límites definidos.
  • Acciones. Puede usar datos incorrectos o ejecutar acciones indebidas.

Los dos últimos riesgos tienen que ver con los límites del agente, y ahí entra el harness. El harness es el sistema que marca los límites dentro de los cuales puede actuar la IA. Define a qué datos y herramientas puede acceder el agente y qué acciones puede ejecutar con ellos. También coordina la ejecución dentro de esos límites.

Probar un agente implica probar también su harness: verificar que los límites estén bien definidos y que se sostengan cuando alguien intenta correrlos. Un agente puede responder bien cada consulta y aun así acceder a un dato que no le corresponde si el harness falla.

Qué probamos en un agente de IA

Nuestra estrategia de testing para agentes cubre seis áreas. Cada una apunta a un tipo de falla distinto:

  • Funcional y conversacional. Que el agente entienda intenciones e instrucciones, respete las reglas, mantenga el contexto y sostenga conversaciones de múltiples turnos.
  • Seguridad y ataques. Prompt injection, jailbreak, exposición de datos y controles de acceso. Es el área donde se pone a prueba el harness frente a intentos de correr sus límites.
  • Calidad de respuestas. Alucinaciones, inconsistencias, fidelidad a las fuentes y pertinencia de lo que responde.
  • Herramientas e integraciones. Las APIs que consume, las acciones que dispara, los permisos con los que opera, los errores que recibe y los resultados de cada proceso.
  • Automatización y regresión. Baterías de pruebas repetibles y detección de cambios entre versiones.
  • Performance y escalabilidad. Latencia, concurrencia, consumo, costo y estabilidad bajo carga.

Las áreas se complementan. Un agente con buenas respuestas puede fallar en el uso de herramientas, y uno que funciona bien en una versión puede cambiar su comportamiento en la siguiente si cambian el modelo o las instrucciones.

Cómo diseñamos una estrategia de testing para agentes

El enfoque es estructurado y basado en riesgos. Lo organizamos en cinco pasos:

  1. Entendimiento del agente. Su propósito, su arquitectura, las fuentes que consulta, las herramientas que usa y sus límites. En este paso se releva el harness: qué puede hacer el agente y qué tiene vedado.
  2. Identificación de riesgos. Qué impacto tendría cada falla en el negocio y qué controles hay que verificar.
  3. Diseño de escenarios. Casos positivos, negativos, adversariales y de integración.
  4. Ejecución y evaluación. Las pruebas se corren y las respuestas se evalúan con asistencia de modelos, lo que permite cubrir un volumen de respuestas difícil de revisar a mano.
  5. Medición y mejora. Se analizan los resultados y las regresiones, y se definen acciones para mejorar la confiabilidad del agente.

El orden importa. Si se diseñan escenarios sin entender antes el agente y sus límites, las pruebas cubren lo que el agente debería hacer y pueden dejar afuera lo que nunca debería hacer.

Ejemplos de escenarios: de lo esperado a lo inesperado

Así se ven algunos escenarios concretos para un agente que opera en un banco o una fintech:

Escenario de pruebaQué validamos
Consulta sobre el saldo de un terceroPrivacidad y autorización
Intento de cambiar las instruccionesResistencia a prompt injection
Entrada de datosQue sean completos, consistentes y actuales, y que vengan de la fuente correcta
Error de una API externaManejo de fallas sin inventar resultados
Cambio de intención en la conversaciónContexto y adaptación
Ejecución de una operación financieraLímites de permisos y confirmación antes de operar

Probamos lo que el agente debe hacer y lo que nunca debería hacer. Qualis Lab, Testing de agentes de Inteligencia Artificial

Varios de estos escenarios prueban qué pasa cuando alguien pide algo indebido o cuando algo falla alrededor del agente. Son los que verifican que el harness sostenga sus límites en las situaciones que nadie planeó.

Cómo medimos la calidad de un agente

La calidad de un agente se mide con evidencia. Usamos seis métricas:

MétricaQué mide
Task Success RateTareas completadas correctamente
FaithfulnessFidelidad respecto de las fuentes
Safety ComplianceCumplimiento de políticas y restricciones
Tool AccuracySelección y ejecución correcta de herramientas
ConsistencyEstabilidad en pruebas repetidas
LatencyTiempos de respuesta y de ejecución

Safety Compliance y Tool Accuracy miran el harness de cerca. La primera mide que se cumplan las políticas y restricciones. La segunda mide que el agente elija y ejecute bien sus herramientas dentro de esos límites. Consistency pide repetir cada escenario varias veces, porque un mismo escenario puede generar resultados diferentes.

Los agentes de IA también necesitan una estrategia de calidad. En Qualis combinamos nuestra especialización en calidad de software con técnicas de evaluación de sistemas inteligentes, con estos objetivos:

  • Reducir riesgos operativos y de seguridad.
  • Identificar comportamientos incorrectos antes de producción.
  • Validar reglas de negocio y decisiones automatizadas.
  • Medir la confiabilidad con evidencia.
  • Acompañar la evolución continua de las soluciones de IA.

Si tu agente corre sobre Salesforce, en el post sobre agentes de Agentforce repasamos por dónde empezar. Cuánto hay que probar depende de qué puede hacer el agente y de qué pasa si se equivoca, y es lo que definimos dentro de nuestro servicio de testing y QA.

Preguntas frecuentes

¿Qué es el harness de un agente de IA?

Es el sistema que marca los límites dentro de los cuales puede actuar la IA. Define a qué datos y herramientas puede acceder el agente y qué acciones puede ejecutar con ellos, y coordina la ejecución dentro de esos límites.

¿Qué es el prompt injection?

Es el intento de cambiarle las instrucciones a un agente para que haga algo que no debería. Probar la resistencia a ese intento es parte del área de seguridad y ataques.

¿Por qué hay que repetir la misma prueba varias veces con un agente?

Porque un mismo escenario puede generar resultados diferentes. Repetirlo permite medir la consistencia del agente.

¿Se puede automatizar el testing de un agente de IA?

Sí. Los escenarios se arman como baterías repetibles que detectan cambios entre versiones, y la evaluación de las respuestas se asiste con modelos.

¿Listo para empezar?

¿Querés llevar esto a tu equipo?