AI QA Lead

Importante empresa del sector financiero se encuentra en búsqueda de un AI QA Lead para ser el referente técnico de calidad de IA de la organización. Esta persona será owner del marco de evaluación de agentes de IA y se asegurará de que ninguna solución pase a producción sin haber sido evaluada, estresada y validada en calidad, seguridad y desempeño.

Funciones:

• Definir y liderar los lineamientos de evaluación de agentes de IA con base en buenas prácticas de la industria. Esto incluye categorizar los agentes por criticidad, establecer las pruebas requeridas para cada categoría y fijar los criterios de aprobación para el pase a producción.
• Evaluar los agentes de punta a punta y por componente (orquestación, herramientas, memoria, RAG), midiendo la calidad de respuesta, los tiempos y la precisión, e identificando sus puntos más vulnerables.
• Diseñar y coordinar las pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails en conjunto con el equipo de Ciberseguridad.
• Implementar la observabilidad de los agentes bajo OpenTelemetry y automatizar las evals y pruebas de no-regresión dentro de los pipelines de CI/CD.
• Proponer de forma proactiva nuevas métricas, prácticas y herramientas de evaluación, y difundir los estándares de calidad a los equipos de la organización.