{{item.videoDuration}}
{{item.title}}
{{item.text}}
{{item.videoDuration}}
{{item.text}}
El auge de la inteligencia artificial generativa y de los agentes de IA ha llevado a muchas organizaciones a reflexionar sobre cómo construir confianza en estos nuevos sistemas. Esta reflexión, junto con el creciente debate sobre los estándares en inteligencia artificial, ha preparado el terreno para la adopción de prácticas robustas de prueba y monitoreo.
Las pruebas y el monitoreo de modelos se refieren a un conjunto de prácticas diseñadas para garantizar la calidad, resiliencia, estabilidad y la toma de decisiones sostenible a través de sistemas de IA, además de permitir detectar cuándo estos sistemas dejan de comportarse conforme a los estándares establecidos.
Por ejemplo, imaginemos un sistema impulsado por IA que evalúa a candidatos para ofertas de empleo. Para que la organización tenga éxito con este sistema, quienes lo utilizan deben tener la confianza de que ofrece recomendaciones confiables, que no descarta candidatos capacitados y que no aprueba postulantes que no encajan en el perfil. Las prácticas de prueba de modelos permiten evaluar de manera constante el sistema de selección para confirmar que funcione como se espera, sin importar perfiles de candidatos, tipos de empleo, ubicaciones geográficas u otras condiciones variables.
Prácticamente, esto implica desarrollar procesos de prueba en diferentes etapas del ciclo de vida de una aplicación impulsada por IA:
Antes del despliegue: Validar calidad, evaluar limitaciones y verificar estabilidad.
Después del despliegue: Monitorear posibles desviaciones en el desempeño, cambios en los datos y el impacto en el entorno real.
Cumplimiento: Realizar revisiones independientes o certificaciones alineadas con las expectativas regulatorias.
Estas fases de prueba y monitoreo pueden llevarse a cabo por el equipo que desarrolla o administra la aplicación de IA (a menudo llamada la “primera línea”), por un equipo interno pero independiente, generalmente vinculado a la función de riesgos (la “segunda línea”), o por una entidad completamente externa.
Cómo está cambiando el estado actual en las pruebas y el monitoreo de modelos
Las organizaciones que hasta ahora no contaban con prácticas rigurosas impulsadas por regulaciones para probar modelos de aprendizaje automático y estadísticos están comenzando a valorar la importancia de hacerlo de forma constante. Sin embargo, muchas aún no han desarrollado métodos repetibles para evaluar la calidad, resiliencia y rendimiento de sus sistemas de IA a lo largo del tiempo, y tampoco cuentan con equipos preparados para realizar este trabajo.
Incluso las organizaciones con amplia experiencia en pruebas están enfrentando desafíos ante la llegada de la IA generativa y de los agentes de IA, cuyas capacidades técnicas y ritmo acelerado de evolución demandan nuevas prácticas de evaluación.
Algunas compañías pueden pensar que sus métodos tradicionales son suficientes, basándose en su experiencia con pruebas de sistemas de software antes del despliegue. Estos métodos, que consisten en pruebas discretas de entradas y salidas (control de calidad o QA), no bastan, pues los sistemas de IA suelen producir resultados menos reproducibles y previsibles que otro tipo de software.
Aquí algunas de las diferencias fundamentales
El desarrollo de software es un proceso más bien lineal, mientras que el desarrollo de modelos es experimental e iterativo.
Los resultados del software son deterministas, en tanto que las salidas de la IA son variables y pueden depender de relaciones subyacentes en los datos que incluyen sesgos.
Es complejo sincronizar las pruebas del modelo de IA con los ciclos iterativos (sprints) que se usan en el desarrollo de software. Una gobernanza sólida de modelos de IA apoya la realización continua de pruebas, ajustadas al perfil de riesgo de cada aplicación.
Tras el despliegue, mantener la precisión y la resiliencia de los sistemas de IA requiere monitoreo regular y reevaluaciones periódicas.
Muchas organizaciones enfrentan brechas culturales, organizativas y de gobernanza en torno a las pruebas. Por ejemplo, la responsabilidad sobre las actividades de monitoreo suele estar fragmentada, el desarrollo y uso de IA están altamente descentralizados y los marcos regulatorios que rigen la IA aún son inciertos.
En el ejemplo del asistente de selección de personal impulsado por IA, posiblemente esta aplicación fue desarrollada fuera de los equipos tradicionales de desarrollo de software y sus prácticas controladas y estandarizadas, tal vez por el propio equipo de Recursos Humanos.
Este equipo puede desconocer el nivel esperado de pruebas, las mejores prácticas o la necesidad de realizar un monitoreo continuo. Aunque probablemente tengan un amplio conocimiento en legislación laboral, pueden no estar tan familiarizados con el marco regulatorio emergente que afecta a los sistemas de IA, especialmente aquellos que influyen en decisiones de contratación.
Si una organización desea confiar en los modelos de IA para tomar decisiones cada vez más críticas y complejas, deberá invertir en procesos estándar para probar y monitorear estos modelos a lo largo de todas las fases de su ciclo de vida y uso. Estas prácticas deben ir mucho más allá de las pruebas tradicionales de software. Además, la organización necesitará generar consenso sobre qué debe probarse, quién realizará las pruebas, cuándo deben efectuarse y cómo se escalarán y resolverán los problemas detectados.
Las oportunidades para las pruebas de modelos y la IA responsable
Las prácticas adecuadas para probar modelos de inteligencia artificial no solo sirven para gestionar riesgos. Al igual que ocurre con la mayoría de las prácticas vinculadas a la IA responsable, una buena gobernanza impulsa un mejor retorno de la inversión en el desarrollo de modelos y sistemas de IA, al garantizar un funcionamiento más confiable y resultados más predecibles y sostenibles.
Además, permiten identificar con mayor claridad las limitaciones de desempeño, cómo realizar ajustes y dónde intervenir humanamente de la manera más eficiente.
La plataforma Model Edge de PwC puede ayudar a las organizaciones a operacionalizar estas prácticas, proporcionando un entorno optimizado de gobernanza que incluye la definición y documentación de los requisitos de prueba. Al incorporar una plataforma de gestión de modelos integrada en los flujos de trabajo de IA, los equipos pueden estandarizar las pruebas, seguir tendencias de desempeño y atender las necesidades de cumplimiento normativo con mayor eficiencia.
Un buen proceso de prueba de modelos también brinda la confianza necesaria para impulsar más aplicaciones de IA y alcanzar objetivos más amplios de transformación. Casos de uso de IA que requieren un alto grado de certeza sobre su funcionamiento —que antes parecían inalcanzables— ahora pueden ajustarse al nivel de tolerancia al riesgo organizacional.
Acciones clave para priorizar
Definir un enfoque para el ciclo de vida del desarrollo de modelos
Este enfoque puede coincidir o no con los ciclos existentes en el desarrollo de software. Es fundamental adaptar lo relevante y avanzar hacia un consenso organizacional acerca de los ciclos de vida de los modelos de IA.
Proporciona ejemplos sobre cómo probar distintos tipos de sistemas de IA, incluyendo las capacidades y agentes de IA integrados en aplicaciones de terceros y motores de predicción independientes basados en aprendizaje automático. También es importante describir un método para probar y monitorear los sistemas que tus colaboradores construyan utilizando sistemas de IA generativa, marcos de agentes o cualquier otra capacidad que se ofrezca para fomentar la innovación y la productividad.
Fomentar una cultura de pruebas
Solo comunicar la obligatoriedad de realizar pruebas puede no ser suficiente. Es necesario implementar incentivos sólidos que motiven a las personas a llevar a cabo las pruebas necesarias, como contrapeso a la mentalidad de “lanzar en producción” que con frecuencia acompaña a muchos proyectos de IA.
Facilita que tus equipos consideren los posibles puntos de falla en el sistema de IA y su entorno de software para diseñar controles de forma proactiva. Promueve un espíritu inquisitivo y un enfoque iterativo hacia las pruebas.
Vincular la orientación sobre pruebas con el marco de gobernanza
Las aplicaciones de mayor riesgo deben someterse a pruebas más rigurosas. Es fundamental clarificar las responsabilidades de los equipos de desarrollo, los propietarios de los sistemas de IA y los empleados que tienen facultades para construir sobre las plataformas de IA de la empresa.
Complementa esto con el apoyo de las áreas de riesgos y cumplimiento. Comprende la postura organizacional sobre los riesgos de IA y diseña los protocolos de prueba y monitoreo en función de ella.
Considerar las prácticas necesarias para cumplir con las regulaciones emergentes
Por ejemplo, algunas normativas exigen pruebas independientes de sesgos u otro tipo de evaluaciones específicas. Trabaja en colaboración con el área legal para incorporar estas prácticas dentro del marco de gobernanza, los procesos de evaluación de riesgos y las prácticas de prueba de modelos.
Este artículo se basa en el artículo original "Responsible AI and model testing: what you need to know" de PwC EE.UU. La revisión fue ejecutada por el equipo de PwC Colombia.
¡Cambiemos la manera en que vemos el riesgo!
En PwC Colombia, te ayudamos a tener una visión integral de tu panorama de riesgos para que puedas actuar con audacia y determinación.
{{filterContent.facetedTitle}}
{{contentList.loadingText}}
{{contentList.loadingText}}
Síguenos PwC Colombia
