Gestión de los riesgos de la IA generativa

El uso de la inteligencia artificial generativa (GenAI) demanda cambios y adaptaciones constantes y rápidos para desarrolladores de IA, usuarios comerciales, inversionistas, legisladores y ciudadanos.

riesgos ia generativa

Para obtener los máximos beneficios de esta tecnología innovadora, es necesario gestionar la amplia gama de riesgos que plantea de manera integral, considerando el negocio en su conjunto. Ya han surgido riesgos en áreas como la privacidad, la ciberseguridad, el cumplimiento normativo, las relaciones con terceros, las obligaciones legales y la propiedad intelectual.

Demostrar un equilibrio entre los riesgos y las recompensas de la innovación será crucial para garantizar la confianza en las empresas y obtener una ventaja competitiva.

Los profesionales en gestión de riesgos pueden ayudar a las empresas a utilizar la IA generativa de manera segura y resiliente. Pueden asegurarse de que se garantice adecuadamente la privacidad, que se manejen los sesgos perjudiciales de manera justa, que sea válido y confiable, responsable y transparente, y que sea explicable e interpretable. En otras palabras, que sea digna de confianza.

Aunque cada ejecutivo y usuario desempeña un papel importante, son estos líderes clave de la alta dirección (C-suite) quienes activarán la Inteligencia Artificial de manera responsable. Su enfoque se centrará en ofrecer confianza desde la planeación, no solo centrándose en la velocidad, convirtiéndola así  en una propuesta de valor para clientes, inversionistas, socios comerciales, colaboradores y la sociedad en general.

Te puede interesar: Diez principios para una IA ética

Los nuevos riesgos a gestionar

A continuación, se presenta una descripción general de los riesgos en los que cada líder podrá enfocarse. Para obtener una discusión más completa, le recomendamos consultar el libro completo de jugadas de riesgo de GenAI:

Director de seguridad de la información

La IA generativa puede reducir las barreras de entrada para los actores de amenazas ¿El riesgo más inmediato a tener en cuenta? El phishing es cada vez más sofisticado. Se han observado señuelos personalizados sumamente convincentes utilizados en chats, videos o incluso audios falsos generados en tiempo real, donde los ciberdelincuentes pretenden ser personas familiares o figuras de autoridad.

Para el CISO, contar con GenAI representa un valioso activo para hacer frente a estas amenazas y gestionarlas eficazmente dentro de la organización. Existe la posibilidad de que los actores de amenazas manipulen los sistemas de inteligencia artificial para generar predicciones incorrectas o negar el servicio a los clientes. Por ello, es crucial contar con sólidas protecciones de ciberdefensa que salvaguarden el lenguaje patentado, modelos fundamentales, datos y contenido nuevo.

El panorama de ciberseguridad exige una respuesta proactiva y bien fundamentada, y GenAI puede convertirse en un aliado clave en la protección de los recursos y la garantía de la confianza hacia los clientes.

Director de datos y Director de privacidad

Estos líderes deberían prestar especial atención a cómo GenAI puede exacerbar los riesgos relacionados con datos y privacidad. Después de todo, la promesa de los grandes modelos de lenguaje radica en su capacidad para utilizar una gran cantidad de datos y generar incluso más información nueva, lo cual los hace vulnerables a problemas como el sesgo, la baja calidad, el acceso no autorizado y la pérdida de datos.

Un problema importante que algunas empresas ya enfrentan es el ingreso de datos confidenciales por parte de empleados en modelos de IA generativos de acceso público. GenAI, al poder almacenar indefinidamente información de entrada y utilizarla para entrenar otros modelos, podría infringir las normas de privacidad que restringen los usos secundarios de datos personales.

Para mitigar estos riesgos, es crucial que el equipo de datos y privacidad establezca controles y salvaguardias sólidas, asegurando el cumplimiento de las regulaciones y la protección adecuada de la información sensible. La implementación de políticas claras y una capacitación efectiva para los empleados sobre el manejo responsable de datos se vuelve imprescindible para garantizar la confianza y el cumplimiento de las normas de privacidad en el entorno de GenAI.

director de cumplimiento

Director de cumplimiento

Se está desarrollando un enfoque ágil, colaborativo, regulatorio y de respuesta con la IA generativa, lo que podría implicar un ajuste significativo para los oficiales de cumplimiento. Es crucial mantenerse al día con las nuevas regulaciones y aplicar de manera más estricta las normativas existentes que se aplican a la IA generativa.

Director jurídico

Sin un gobierno y supervisión adecuados, el uso de la IA generativa por parte de una empresa puede generar o agravar riesgos legales. Por ejemplo, medidas laxas de seguridad de datos podrían exponer públicamente secretos comerciales, información de propiedad y datos de clientes. Además, una revisión insuficiente de los resultados generativos de IA podría dar lugar a imprecisiones, incumplimiento de normativas, contratos vulnerados, infracción de derechos de autor, alertas de fraude erróneas, investigaciones internas defectuosas, comunicaciones perjudiciales con los clientes y daños a la reputación.

Para abordar y defenderse de los problemas relacionados con GenAI, los equipos legales deberán adquirir una comprensión técnica más profunda, un conocimiento que normalmente los abogados no suelen tener.

Líderes de Auditoría Interna

La auditoría se convertirá en un mecanismo clave de gobierno para confirmar que los sistemas de IA están diseñados e implementados de acuerdo con los objetivos de la empresa. Sin embargo, para crear un plan de auditoría basado en riesgos específico para la IA generativa, el equipo de Auditoría Interna debe diseñar y adoptar nuevas metodologías, formas de supervisión y conjuntos de habilidades.

Evaluar los riesgos que plantean los sistemas de IA generativa resulta difícil e ineficaz si se hace de manera independiente del contexto en el que se implementan. Por lo tanto, comprender el problema que la empresa busca resolver con GenAI se convierte en un punto de partida crucial para abordar adecuadamente estos desafíos.

Es esencial que el equipo de Auditoría Interna colabore estrechamente con los responsables de la implementación de la IA generativa y otros departamentos relevantes para obtener una visión completa de cómo se integra la tecnología en el entorno empresarial. De esta manera, podrán identificar los riesgos específicos, desarrollar estrategias de auditoría efectivas y garantizar el cumplimiento de los objetivos y regulaciones de la empresa.

La adaptación a las demandas de la IA generativa requerirá una mentalidad ágil y una disposición a aprender y crecer continuamente, lo que permitirá a la Auditoría Interna desempeñar un papel fundamental en el gobierno efectivo de la IA generativa dentro de la organización.

Director financiero

Sin un gobierno y supervisión adecuados, el uso de GenAI por parte de una empresa puede generar o agravar los riesgos financieros. Un uso incorrecto de esta tecnología expone a la empresa al riesgo de cometer errores de razonamiento y una dependencia excesiva en los resultados que requieren cálculos numéricos. Estos riesgos de alto impacto son desafíos a los que los CFO se enfrentan en el curso de sus funciones normales, especialmente en un entorno regulado.

Los errores en la información financiera, altamente visibles e involuntarios, pueden resultar en la pérdida de confianza de clientes, inversionistas, reguladores y otras partes interesadas, lo que puede ocasionar graves daños a la reputación de la empresa. La recuperación de esta reputación puede ser costosa y prolongada.

Es vital que los CFO y otros líderes financieros establezcan una rigurosa gobernanza y supervisión en el uso de GenAI. Esto implica la implementación de controles y verificaciones exhaustivas para garantizar la precisión y confiabilidad de los resultados generados por la IA. Asimismo, la capacitación y actualización constante del personal sobre el manejo adecuado de GenAI son fundamentales para mitigar los riesgos financieros asociados.

Lee nuestra publicación sobre Inteligencia Artificial Responsable

Para una IA confiable, iniciar con la gobernanza

Contar con una estrategia de gobierno de IA efectiva será vital, y diversas personas dentro y fuera de su organización pueden influir en su capacidad para utilizar la IA generativa de manera responsable. Estos actores clave incluyen científicos e ingenieros de datos, proveedores de datos, especialistas en el campo de la diversidad, la equidad, la inclusión y la accesibilidad, diseñadores de experiencia de usuario, líderes funcionales y gerentes de producto.

Te puede interesar: La IA generativa empuja los límites de la IA responsable

Data e IA ética

Considerar la implicación moral de los usos de datos e IA y codificarlos en los valores de la organización.

Políticas y regulación

Anticipar y comprender las políticas públicas clave y las tendencias regulatorias para alinear los procesos de cumplimiento.

Gobierno

Habilitar la supervisión de los sistemas en las tres líneas de defensa.

Cumplimiento

Cumplir con la regulación, las políticas organizacionales y los estándares de la industria.

Gestión del riesgo

Ampliar las prácticas de detección y mitigación de riesgos de transición para abordar los riesgos y daños exclusivos de IA.

Interpretabilidad y explicabilidad

Habilitar un modelo transparente para la toma de decisiones.

Sostenibilidad

Minimizar el impacto negativo al medio ambiente y empoderar a las personas.

Robustez

Habilitar un sistema confiable y de alto rendimiento.

Sesgo y Equidad

Definir/medir la equidad y probar los sistemas frente a los estándares.

Seguridad

Mejorar la ciberseguridad de los sistemas.

Privacidad

Desarrollar sistemas que preserven la privacidad de los datos.

Seguridad física

HDiseñar y probar sistemas para prevenir daños físicos.

Formulación de problemas

Identificar el problema concreto a resolver y si requiere una solución IA/ML.

Estándares

Seguir los estándares de la industria y las mejores prácticas.

Validación

Evaluar el rendimiento del modelo y continuar iterando en el diseño y desarrollo para mejorar las métricas.

Monitoreo

Implementar un monitoreo continuo para identificar brechas y riesgos.

Las partes interesadas deben unirse para considerar todos los efectos y desafíos de incorporar cada nueva solución de IA generativa.

En última instancia, la promesa de la IA generativa recae en su gente. Invierta en ellos para que comprendan los límites del uso de esta tecnología como asistente, copiloto o tutor, mientras aprovechan y realizan su potencial. Permite que tu personal aplique su conocimiento y experiencia para evaluar críticamente los resultados de los modelos generativos de IA después de haber implementado las medidas de seguridad y riesgo adecuadas para tu empresa. Cada usuario inteligente puede convertirse en un administrador de confianza.

Este artículo se basa en el artículo “Managing the risks of generative AI” de PwC US. Esta versión es organizada y revisada por PwC Colombia.

El enfoque y la gestión de los riesgos es importante para garantizar la continuidad de tu negocio

La tecnología y digitalización son un elemento fundamental para el desarrollo de tu negocio. Conoce nuestros

{{filterContent.facetedTitle}}

{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}
Síguenos PwC Colombia