La IA de decisiones crediticias de una empresa de préstamos al consumo había denegado una solicitud de crédito de una manera que el solicitante alegó que era discriminatoria; en concreto, que la decisión parecía infringir la Equal Credit Opportunity Act por basarse en variables sustitutas indirectas. El equipo de cumplimiento de la empresa necesitaba investigar: ¿era adecuada la decisión de la IA según su entrenamiento y sus parámetros de diseño? ¿Qué datos de entrada específicos se habían usado para la decisión? ¿Había funcionado correctamente el modelo o se había producido una falla operativa? ¿Podía reconstruirse la decisión y revisarse en cuanto al cumplimiento en materia de préstamos justos? El equipo de respuesta a incidentes de la empresa tenía experiencia y estaba bien preparado para los tipos de incidentes que cubría su manual: violaciones de datos que requerían una investigación forense, ransomware que requería el aislamiento y la recuperación de sistemas, e interrupciones del servicio que requerían una restauración técnica. Ninguno de esos escenarios del manual correspondía a lo que requería un incidente de decisión de un modelo de IA. El equipo de IR no tenía un proceso para reconstruir una decisión de IA a partir de los registros de auditoría de decisiones, ni conocimientos para evaluar si un modelo de IA había fallado o había funcionado correctamente sobre supuestos inadecuados, ni un procedimiento establecido para preservar la evidencia del comportamiento del modelo de IA, ni una vía de escalamiento definida para determinar si el incidente de IA requería conocimientos externos de validación de modelos. La capacidad de IR de la empresa era real y estaba bien probada. Su alcance no se había ampliado para abarcar los incidentes de modelos de IA.
¿Qué son realmente las brechas en la respuesta a incidentes de IA?
Las brechas en la respuesta a incidentes de IA son las deficiencias del programa de respuesta a incidentes de una organización que dejan los incidentes de decisiones de modelos de IA (decisiones perjudiciales de la IA, fallas de modelos de IA, manipulación de sistemas de IA e infracciones de la gobernanza de la IA) sin procedimientos de investigación, requisitos de preservación de evidencia, vías de escalamiento ni procesos de remediación definidos. Los manuales tradicionales de IR están diseñados para incidentes de ciberseguridad: violaciones de datos, malware, compromisos de sistemas e interrupciones del servicio. Los incidentes de modelos de IA requieren habilidades de investigación, evidencia y enfoques de remediación diferentes que los manuales tradicionales de IR no abordan.
El problema de la investigación de incidentes de decisiones de IA es la primera brecha de IR. Investigar un incidente de decisión de un modelo de IA requiere: reconstruir la decisión específica a partir de los registros de auditoría de decisiones, evaluar si el modelo funcionó correctamente dentro de sus parámetros de diseño o falló, evaluar si la decisión refleja un sesgo de los datos de entrenamiento o un problema de arquitectura y determinar si la decisión infringió los requisitos regulatorios aplicables. Ninguno de estos pasos de investigación es análogo a la investigación forense, el análisis de malware o la recuperación de sistemas que describen los manuales tradicionales de IR. Un equipo de IR sin conocimientos de IA tendrá dificultades para reconstruir un incidente de decisión de IA sin conocimientos externos sobre modelos.
El problema de la preservación de evidencia es la segunda brecha. Los incidentes de decisiones de modelos de IA requieren preservar evidencia distinta de la de los incidentes de ciberseguridad: la versión específica del modelo que tomó la decisión, los datos de entrada en el momento de la decisión, los resultados intermedios del modelo, el registro de auditoría de la decisión y, posiblemente, los datos de entrenamiento completos y la documentación de la arquitectura del modelo necesarios para una validación independiente. Los equipos de IR que aplican a los incidentes de IA los procedimientos estándar de preservación de evidencia de ciberseguridad pueden no preservar la evidencia específica de IA que se necesita para la investigación y la revisión legal posteriores.
Por qué es importante
Las brechas en la respuesta a incidentes de IA son importantes para TPRM porque los productos de IA de proveedores que toman decisiones trascendentes (crédito, seguros, empleo, atención clínica) acabarán produciendo decisiones que se impugnen, se investiguen o se litiguen. La empresa que no puede investigar un incidente de decisión de la IA de un proveedor no puede demostrar la debida diligencia en su supervisión de los proveedores de IA y puede enfrentar una exposición regulatoria y legal por un incidente de IA al que no estaba preparada para responder.
- Sin manual de incidentes de IA: incidentes de decisiones de IA no contemplados
- Capacidad de reconstrucción de decisiones de IA ausente en el equipo de IR
- Preservación de evidencia específica de IA no incluida en los procedimientos de IR
- Evaluación de incidentes de IA en materia de préstamos justos y regulación no contemplada
- Vía de escalamiento a expertos externos en IA no definida
Cómo se ve una buena práctica
Los programas maduros de respuesta a incidentes de IA amplían los marcos de IR existentes para abarcar los incidentes de decisiones de modelos de IA: definen procedimientos de investigación para las decisiones de IA, requisitos de preservación de la evidencia específica de IA, vías de escalamiento a expertos en modelos de IA y procesos de remediación para las fallas de los modelos de IA.
- Manual de incidentes de IA: manual independiente o ampliado que abarque los incidentes de decisiones de IA
- Proceso de reconstrucción de decisiones de IA: uso de los registros de auditoría de decisiones para reconstruir decisiones específicas
- Preservación de evidencia específica de IA: versión del modelo, variables de entrada, resultados intermedios
- Expertos externos en IA en el contrato de disponibilidad de IR o vía de escalamiento definida
- Evaluación regulatoria de incidentes de IA: implicaciones de los préstamos justos, la Ley de IA de la UE y el GDPR para los incidentes de IA
Herramientas
Investigación de incidentes de IA: registros de auditoría de decisiones de MLflow, herramientas de explicabilidad de modelos para la revisión posterior al incidente
Las herramientas de gestión de modelos y de explicabilidad proporcionan la base técnica para la reconstrucción de decisiones de IA durante la investigación de incidentes. Para los profesionales de TPRM, preguntar si el proveedor ha definido un manual de incidentes de IA que abarque específicamente los incidentes de decisiones de modelos de IA, y si tiene acceso a conocimientos externos sobre modelos de IA para incidentes complejos, ofrece una pregunta concreta sobre brechas de IR de IA.
Desafíos de gobernanza
El desafío de gobernanza de las brechas de IR de IA es el problema de la disponibilidad de conocimientos especializados. La investigación de incidentes de modelos de IA requiere habilidades (análisis del comportamiento del modelo, evaluación de los datos de entrenamiento, evaluación de la equidad) que los equipos tradicionales de IR normalmente no tienen. Desarrollar estos conocimientos internamente es costoso. La solución de gobernanza consiste en establecer relaciones con proveedores de conocimientos especializados en modelos de IA (socios académicos, firmas de consultoría especializadas o programas de asesoría de proveedores de IA) a los que se pueda recurrir rápidamente cuando los incidentes de IA requieran una investigación experta.
- Desarrolle un manual de incidentes de IA como extensión del marco de IR existente
- Establezca una vía de escalamiento a expertos en IA: contrato de disponibilidad o proceso de contratación definido
- Defina los requisitos de preservación de evidencia específica de IA
- Capacite al equipo de IR en los fundamentos de los incidentes de IA: reconstrucción de decisiones y evaluación del comportamiento del modelo
- Incluya la evaluación de la capacidad de IR de IA en las revisiones de riesgo de proveedores
Si usted forma parte de un equipo pequeño
Haga una pregunta sobre la preparación de IR de IA: si hoy se impugnara formalmente una de las decisiones de IA de su proveedor, por ejemplo una denegación de crédito que el solicitante alega que es discriminatoria, ¿cuál es su proceso de investigación? ¿Quién la investigaría, qué evidencia necesitaría y a qué conocimientos especializados recurriría para evaluar si la decisión de la IA reflejó una falla del modelo o un sesgo de los datos de entrenamiento? La dificultad para responder esa pregunta revela la brecha de IR de IA. La respuesta es el manual de incidentes de IA que hay que elaborar.
- Haga la pregunta sobre la investigación de una decisión de IA impugnada: quién, qué evidencia, qué conocimientos especializados
- Desarrolle un manual de incidentes de IA que abarque la reconstrucción de decisiones y las implicaciones regulatorias
- Establezca una vía de escalamiento a expertos en IA
- Defina los requisitos de preservación de evidencia específica de IA
Qué exigir
Pregunte directamente:
"Si una de las decisiones de su modelo de IA se impugnara formalmente, en concreto una denegación de crédito presuntamente discriminatoria, ¿cuál es su proceso de investigación? ¿Quién realiza la investigación, qué evidencia específica de IA se preserva y a qué conocimientos especializados recurren para evaluar la IA en materia de préstamos justos?"
Evidencia que debe esperar
- Manual de incidentes de IA o equivalente
- Proceso de investigación de decisiones de IA
- Preservación de evidencia específica de IA
- Vía de escalamiento a expertos externos en IA
A un proveedor que confirma una capacidad integral de IR se le debe pedir su manual de incidentes de IA. La IR tradicional abarca los incidentes de ciberseguridad. La respuesta a incidentes de IA abarca los incidentes de decisiones de modelos. Ambas son necesarias en las implementaciones empresariales de IA.
Cómo demostrarlo
- Manual de incidentes de IA
- Capacidad de reconstrucción de decisiones de IA
- Registros de preservación de evidencia específica de IA
- Vía de escalamiento a expertos en IA
Conclusión clave
Incidente de decisión de IA. Investigación de cumplimiento requerida. Equipo de IR: con experiencia, bien preparado, manual probado. Reconstrucción de decisiones de IA: no figura en el manual. Preservación de evidencia específica de IA: no figura en los procedimientos. Conocimientos para evaluar la IA en materia de préstamos justos: no figuran en la vía de escalamiento. La capacidad de IR era real y completa para su alcance. Los incidentes de decisiones de modelos de IA estaban fuera de ese alcance. Ampliar los marcos de IR para abarcar los incidentes de IA requiere un manual específico de IA, preservación de evidencia específica de IA y acceso a conocimientos especializados en modelos de IA. La pregunta sobre la decisión impugnada es la prueba de preparación: si no puede responder quién la investiga, qué evidencia necesita y a qué expertos recurre, la brecha de IR de IA es la respuesta.