Maurice Müller
Senior Content Manager
Maurice Müller es periodista y estratega de contenidos con experiencia en medios impresos y digitales. En Formalize, traduce temas complejos de cumplimiento y regulación en contenido claro y práctico para profesionales de cumplimiento, riesgo y seguridad en toda Europa.
Puntos clave:
La gestión de riesgos de la IA identifica, evalúa, mitiga y supervisa los riesgos específicos de los sistemas de IA, a la par del trabajo de gestión de riesgos más amplio de la organización.
Los riesgos se dividen en varias categorías recurrentes: datos y privacidad, rendimiento del modelo, sesgo y responsabilidad, así como riesgos de seguridad, operativos y de cumplimiento.
El Marco de Gestión de Riesgos de IA del NIST organiza este trabajo en cuatro funciones: Gobernar, Mapar (o Mapear), Medir y Gestionar.
La gestión de riesgos de la IA no es lo mismo que la gobernanza de la IA. La gobernanza es el sistema más amplio de políticas y supervisión; la gestión de riesgos es el trabajo específico de encontrar y abordar los riesgos de la IA dentro de ella.
El software puede conectar los sistemas de IA con sus riesgos, responsables y controles en un solo lugar, pero no decide si un sistema de IA determinado es seguro. Ese criterio sigue siendo responsabilidad de la organización.
La mayoría de las organizaciones ya gestionan los riesgos de alguna forma. La IA añade una capa para la que los procesos de riesgo generales no fueron diseñados: modelos que se comportan tras su despliegue de forma distinta a como lo hacían en las pruebas, y resultados que son difíciles de explicar en su totalidad, incluso para las personas que los desarrollaron.
¿Por qué es importante la gestión de riesgos de la IA?
Un sistema de IA que falla no lo hace de forma silenciosa. Un modelo de contratación sesgado puede perjudicar a candidatos reales antes de que alguien perciba el patrón. Un chatbot de atención al cliente puede dar respuestas erróneas con absoluta seguridad. Un modelo entrenado con los datos equivocados puede exponer información a la que nunca debió tener acceso.
No se trata de una preocupación hipotética. Los incidentes relacionados con la IA informados aumentaron a 233 en 2024, lo que representa un incremento del 56,4 % respecto al año anterior, según el Informe AI Index 2025 de Stanford, basado en la AI Incident Database. El mismo informe reveló que, aunque la mayoría de las organizaciones pueden identificar sus principales riesgos de IA, son pocas las que realmente están tomando medidas para abordarlos.
La gestión de riesgos de la IA existe para detectarlos antes de que se conviertan en incidentes, no después. Esto es crucial por varias razones simultáneas: las personas a las que afecta un sistema de IA, las obligaciones de cumplimiento que la organización ya asume, el coste reputacional de un fallo público y la calidad de las decisiones que dependen cada vez más de los resultados de la IA.
Vale la pena ser directos con el planteamiento: la gestión de riesgos no está diseñada para frenar la adopción de la IA. Bien ejecutada, es precisamente lo que permite a una organización adoptar la IA con una visión clara de cuáles son sus ventajas e inconvenientes, en lugar de descubrirlos por la vía difícil.
¿Cuáles son los principales tipos de riesgos de la IA?
El riesgo de la IA se divide generalmente en cuatro categorías: datos y privacidad, modelo y rendimiento, sesgo y responsabilidad, y riesgo de seguridad, operativo y de cumplimiento.
Riesgos de datos y privacidad
Los sistemas de IA son tan buenos como los datos de entrenamiento que los respaldan. Los datos de entrenamiento de mala calidad, incompletos o inadecuados producen resultados poco fiables. Por otra parte, los sistemas de IA que procesan datos personales u otra información sensible plantean las mismas cuestiones de privacidad que cualquier otro sistema que gestione esa información, habitualmente a mayor escala, y pueden generar un riesgo de fuga de datos si dicha información vuelve a salir a la luz posteriormente en los resultados de un modelo.
Riesgos de modelo y rendimiento
Los resultados pueden ser inexactos. Los modelos generativos pueden ofrecer respuestas verosímiles y convincentes que son sencillamente erróneas, un modo de fallo que a menudo se denomina "alucinación de la IA". El rendimiento también puede desviarse con el tiempo a medida que los datos que observa un modelo en producción difieren de aquellos con los que fue entrenado, de modo que un modelo que funcionó bien en las pruebas puede volverse menos fiable meses después sin que nadie haya modificado nada.
Riesgos de sesgo, transparencia y responsabilidad
Un modelo puede generar resultados desfavorables o injustos entre diferentes grupos, en ocasiones sin una causa evidente. Muchos sistemas de IA, especialmente los más complejos, son difíciles de explicar en su totalidad, lo que complica determinar exactamente por qué se produjo un resultado concreto. Esto, a su vez, dificulta señalar quién es el responsable cuando las cosas salen mal.
Riesgos de seguridad, operativos y de cumplimiento
Los sistemas de IA pueden ser objeto de un uso indebido, manipulación o dependencia de tal manera que creen un punto único de fallo. Muchas organizaciones dependen de modelos y API de terceros, lo que añade una dependencia que la mayoría de los equipos no controla por completo. Por si fuera poco, el uso de la IA puede activar obligaciones derivadas de la Ley de Inteligencia Artificial de la UE (EU AI Act) u otras regulaciones aplicables, obligaciones que existen independientemente de si la organización las ha identificado formalmente o no.
¿Qué es el Marco de Gestión de Riesgos de IA del NIST?
El Marco de Gestión de Riesgos de Inteligencia Artificial del NIST (NIST AI RMF, por sus siglas en inglés) es una guía de carácter voluntario publicada por el Instituto Nacional de Estándares y Tecnología de EE. UU. en enero de 2023. Ofrece a las organizaciones una estructura clara para gestionar los riesgos de la IA a lo largo del ciclo de vida de un sistema, desde su diseño hasta su despliegue y eventual retirada. No es un marco certificable; no existe una auditoría que concluya con un distintivo de "Certificado según NIST AI RMF". Lo que aporta a las organizaciones es, en su lugar, una estructura y un vocabulario compartidos para llevar a cabo este trabajo.
El marco organiza dicho trabajo en cuatro funciones principales:
Gobernar los riesgos de la IA
Establece las políticas, las funciones y la responsabilidad sobre las que se apoyan las otras tres funciones. Esto incluye mantener un inventario actualizado de los sistemas de IA con un responsable designado para cada uno de ellos. Gobernar no es un paso único que se realiza al principio, sino que se ejecuta de forma continua por debajo de las otras tres funciones.
Mapear los riesgos de la IA
Consiste en comprender el sistema de IA en sí mismo: qué hace, a quién afecta y en qué contexto opera. En esta fase, la organización identifica los riesgos que son realmente relevantes para un sistema concreto, en lugar de trabajar a partir de una lista de verificación genérica.
Medir los riesgos de la IA
Evalúa los riesgos identificados en la fase de mapeo utilizando la combinación de métodos cuantitativos y cualitativos que mejor se ajuste al riesgo en cuestión. No todos los riesgos de la IA pueden reducirse a una cifra exacta, y el marco no pretende aparentar lo contrario.
Gestionar los riesgos de la IA
Prioriza los riesgos medidos y actúa sobre ellos: mitigándolos, aceptándolos, transfiriéndolos o, en algunos casos, tomando la decisión de no desplegar el sistema. En esta función también se contempla la supervisión continua, ya que un riesgo que resultaba aceptable en el momento del lanzamiento no necesariamente se mantiene así con el tiempo.
Gestión de riesgos de la IA vs. Gobernanza de la IA
Ambos términos se utilizan indistintamente con bastante frecuencia, por lo que vale la pena explicitar la diferencia.
Gobernanza de la IA | Gestión de riesgos de la IA | |
|---|---|---|
Alcance | El sistema más amplio de políticas, funciones y supervisión de la IA en toda la organización | ThEl trabajo específico de identificar, evaluar y abordar los riesgos relacionados con la IA |
Responde a | Quién tiene permitido desarrollar o usar qué, y bajo qué reglas | Qué podría salir mal con este sistema y qué estamos haciendo al respecto |
Relación | Establece la estructura dentro de la cual opera la gestión de riesgos | Una de las actividades centrales de la gobernanza, no un programa independiente |
En la práctica, la gestión de riesgos de la IA es el reflejo concreto de la gobernanza de la IA a nivel de un sistema individual.
Proceso de gestión de riesgos de la IA: 6 pasos
Gran parte de la metodología general de gestión de riesgos se aplica aquí sin cambios. Lo que es específico de la IA se encuentra principalmente al inicio del proceso, antes de que se llegue a puntuar un riesgo.
Cree un inventario de los sistemas de IA y sus casos de uso. Esto incluye los sistemas desarrollados de forma interna y las herramientas de terceros con funciones de IA, las cuales son fáciles de pasar por alto si el inventario solo busca la IA que un equipo construyó deliberadamente.
Asigne responsables y funciones. Cada sistema de IA necesita a alguien a cargo, no solo un equipo que casualmente se ocupe de su mantenimiento.
Identifique los riesgos relevantes para cada sistema. Un modelo orientado al cliente conlleva riesgos diferentes a los de una herramienta interna para la redacción de borradores. Las categorías de riesgo genéricas son un punto de partida, no la respuesta definitiva.
Evalúe y priorice. No todos los riesgos de la IA requieren el mismo nivel de análisis. Un modelo orientado al cliente que toma decisiones sobre las personas exige mayor supervisión que una herramienta interna que redacta borradores de texto iniciales. Un marco de gestión de riesgos diseñado para el resto de la organización puede ampliarse para cubrir la IA, en lugar de ejecutar un proceso independiente solo para los sistemas de IA.
Defina controles y acciones de mitigación. En el caso específico de la IA, esto a menudo implica la revisión humana en puntos de control determinados, la supervisión de los resultados o restricciones sobre a qué datos puede acceder un sistema, junto con los controles convencionales que ya correspondan.
Supervise de forma continua. El riesgo de la IA no se mantiene fijo tras la puesta en marcha de la misma forma que lo haría el riesgo de un software estático. Un modelo puede desviarse a medida que cambian los datos que procesa en producción, un caso de uso puede expandirse más allá de lo evaluado originalmente, o una nueva regulación puede modificar los requisitos aplicables, a menudo sin que nadie haya tomado explícitamente esa decisión.
Cómo realizar una evaluación de riesgos de la IA
Una evaluación de riesgos de la IA es la fase de Medición del marco del NIST en la práctica: consiste en calificar cada riesgo identificado en función de su probabilidad de ocurrencia y de la gravedad de sus consecuencias en caso de materializarse. La probabilidad suele ser más difícil de determinar de forma específica en la IA que en el riesgo de un software convencional, ya que el comportamiento de un modelo puede cambiar tras su despliegue de maneras que un sistema estático nunca lo haría. La mayoría de las evaluaciones terminan combinando medidas cuantitativas (como el seguimiento de la precisión del resultado frente a un punto de referencia) con el juicio cualitativo para riesgos como el sesgo o la explicabilidad limitada, los cuales no se reducen fácilmente a una sola cifra.
Otros marcos y estándares de gestión de riesgos de la IA
El NIST AI RMF no es el único punto de referencia.
ISO/IEC 42001 es un estándar certificable para el sistema de gestión de la IA, publicado en 2023. Una organización puede ser auditada de forma independiente y certificarse con respecto a él, de la misma manera que funciona la norma ISO 27001 para la seguridad de la información.
ISO/IEC 23894 proporciona orientaciones específicas para la gestión de riesgos de la IA. No es certificable y extiende el enfoque general de gestión de riesgos de la norma ISO 31000 a los riesgos propios de la IA.
La Ley de IA de la UE (EU AI Act) adopta un enfoque distinto: se trata de una regulación, no de un marco voluntario, y clasifica los sistemas de IA según su nivel de riesgo, asignando diferentes obligaciones a cada nivel.
Más que opciones contrapuestas, se tratan de capas complementarias. Una organización puede alinear sus procesos internos con el NIST AI RMF, buscar la certificación ISO/IEC 42001 para obtener garantías externas y, al mismo tiempo, necesitar cumplir con las obligaciones de la Ley de IA de la UE, independientemente de qué marco voluntario decida seguir. Para obtener una comparación más amplia sobre cómo se relacionan entre sí estos esquemas, consulte nuestra guía sobre marcos de gestión de riesgos.
Software de gestión de riesgos de la IA: Cómo Formalize apoya el proceso
Formalize conecta los sistemas de IA con la misma infraestructura de riesgos y controles que una organización ya utiliza para su programa general de cumplimiento, en lugar de gestionar el riesgo de la IA como un ejercicio independiente en una herramienta separada.
Esto incluye un inventario de sistemas de IA y sus casos de uso, con responsables asignados para cada uno de ellos. A partir de ahí, los riesgos se clasifican y puntúan, conectándose directamente con los controles y las acciones de mitigación diseñados para abordarlos. Las evidencias y el estado permanecen vinculados al propio riesgo, de modo que el panel de control muestra lo que realmente se ha llevado a cabo y no solo lo proyectado, convirtiendo la supervisión en una lectura continua de ese mismo registro en lugar de un ejercicio aparte. En aquellas organizaciones que ya operan con marcos como NIS2, DORA o ISO 27001 en Formalize, el riesgo de la IA se integra dentro de ese mismo entorno en lugar de gestionarse en una hoja de cálculo paralela.
Visualice sus sistemas de IA vinculados a controles reales
Traiga su propio inventario de IA, o la hoja de cálculo que esté usando en su lugar. Preferimos mostrarle cómo se conecta antes que explicárselo.
Conviene ser directos en un punto: Formalize no determina si un sistema de IA determinado es seguro, conforme a la normativa o apto para su despliegue. Ese criterio corresponde a las personas que comprenden el sistema y su contexto. Lo que hace la plataforma es facilitar el proceso para llegar a esa conclusión, documentarla y revisarla, en lugar de dejarla al alcance de la memoria o en un documento que nadie actualiza.