Un regulador de servicios financieros que realizaba un examen de supervisión a un proveedor de puntuación crediticia con IA solicitó el registro de auditoría completo de una muestra aleatoria de cincuenta solicitudes de crédito de los dieciocho meses anteriores. El examen del regulador se centraba en la gobernanza de los modelos de IA; en concreto, en si el proveedor podía demostrar que cada decisión la había tomado una versión del modelo debidamente validada, que los datos de entrada usados para cada decisión eran completos y exactos, y que la lógica de la decisión podía reconstruirse para la revisión regulatoria. El equipo de tecnología del proveedor entregó los registros de API. Los registros confirmaban que se habían realizado llamadas a la API de puntuación crediticia para cada una de las cincuenta solicitudes y que se había devuelto una puntuación para cada una. Los registros capturaban: la marca de tiempo de la llamada a la API, el punto de conexión de la API al que se accedió, el token de autenticación usado y la puntuación crediticia final devuelta. Los registros no capturaban: la versión del modelo que había generado la puntuación (el sistema usaba el modelo de producción, que se había actualizado siete veces en el periodo de dieciocho meses), los valores de las variables de entrada que se habían pasado al modelo (la API aceptaba un identificador de cliente y el modelo obtenía las variables internamente) ni los resultados intermedios del modelo que conectaban las entradas con la puntuación final. En tres de las cincuenta solicitudes, el regulador detectó que el historial crediticio del solicitante se había actualizado después de la evaluación original, lo que significaba que las variables que el modelo había usado en el momento de la decisión no podían reconstruirse retrospectivamente ni siquiera a partir del expediente actual del cliente. El proveedor podía confirmar que se habían tomado decisiones crediticias. No podía reconstruirlas.
¿Qué son realmente el registro y la trazabilidad de la IA?
El registro y la trazabilidad de la IA consisten en la captura exhaustiva de la información necesaria para reconstruir la decisión de un sistema de IA en cualquier momento posterior a la decisión; en concreto, la versión del modelo que tomó la decisión, los datos de entrada que se presentaron al modelo en el momento de la decisión, los resultados intermedios del modelo y el resultado final de la decisión. La trazabilidad de las decisiones de IA es sustancialmente distinta del registro de aplicaciones: el registro de aplicaciones captura que se llamó a una función y lo que devolvió; la trazabilidad de las decisiones de IA captura información suficiente para reconstruir la propia decisión y validar que la tomó correctamente un modelo debidamente validado a partir de datos de entrada exactos.
El problema de la captura de la versión del modelo es la primera brecha de trazabilidad. Los modelos de IA se actualizan (se reentrenan, se ajustan, se les incrementa la versión) con distinta periodicidad. Un modelo de puntuación crediticia puede actualizarse mensualmente a partir de nuevos datos de entrenamiento y del monitoreo del rendimiento. Cada versión puede tomar decisiones distintas para los mismos datos de un solicitante. Si una auditoría, una apelación o una revisión regulatoria requiere comprender una decisión tomada hace doce meses, la pregunta pertinente es qué versión del modelo estaba en producción en ese momento. Sin un registro de la versión del modelo a nivel de cada decisión, puede ser imposible determinar qué versión del modelo tomó una decisión histórica específica.
El problema de la captura de las entradas en el momento de la decisión es la segunda brecha de trazabilidad. Los modelos de IA que obtienen las variables internamente (de un almacén de variables, de una base de datos de expedientes de clientes o de una API externa) toman decisiones a partir de los valores de las variables que existían en el momento de la decisión. Los expedientes de los clientes cambian: los historiales crediticios se actualizan, las direcciones cambian, el historial de pagos evoluciona. Si las variables de entrada no se capturan en el momento de la decisión, puede ser imposible reconstruir retrospectivamente lo que usó el modelo: el expediente del cliente que existe hoy puede ser distinto del que consultó el modelo cuando se tomó la decisión.
El problema de la captura de los resultados intermedios es la tercera brecha de trazabilidad. Los modelos de IA complejos (conjuntos de modelos, redes neuronales, canalizaciones de varias etapas) producen resultados intermedios que conectan las entradas con las decisiones finales a través de varios pasos de procesamiento. Capturar solo la puntuación final de la decisión no permite reconstruir la lógica que la produjo. A efectos regulatorios, en particular para los requisitos del artículo 22 del GDPR y de la Ley de IA de la UE, la capacidad de explicar una decisión individual específica puede requerir acceso a los resultados intermedios que muestran cómo contribuyeron las variables de entrada a la puntuación final.
Por qué es importante
El registro y la trazabilidad de la IA son importantes para TPRM porque los exámenes regulatorios, los litigios y las apelaciones de decisiones individuales requieren la capacidad de reconstruir decisiones de IA específicas a partir de registros históricos. La empresa que implementa la IA de un proveedor para decisiones trascendentes y no puede presentar el registro de auditoría de las decisiones enfrenta una exposición regulatoria y legal, independientemente de que el registro de API del proveedor sea exhaustivo.
Dónde se equivocan la mayoría de los equipos
La falla más constante es equiparar el registro de API con la trazabilidad de las decisiones de IA. El registro de API confirma que se llamó al servicio y lo que devolvió. La trazabilidad de las decisiones de IA permite reconstruir la propia decisión: la versión del modelo, las variables de entrada y la lógica intermedia.
- Registro de API equiparado a la trazabilidad de las decisiones
- Versión del modelo no capturada a nivel de decisión
- Variables de entrada no capturadas en el momento de la decisión
- Resultados intermedios no registrados en arquitecturas de modelos complejas
- Requisitos regulatorios de trazabilidad no vinculados al diseño del registro
Cómo se ve una buena práctica
Los programas maduros de registro de IA capturan el expediente completo de la decisión en cada inferencia: el identificador de la versión del modelo, los valores de las variables de entrada en el momento de la decisión, los principales resultados intermedios y la decisión final, conservados durante el periodo que exigen la normativa aplicable y los requisitos de conservación por litigio.
- Versión del modelo capturada en cada decisión
- Variables de entrada registradas en el momento de la decisión, no reconstruidas a partir del expediente actual
- Resultados intermedios capturados para una reconstrucción de nivel de auditoría
- Periodo de conservación alineado con los requisitos regulatorios
- Registro de auditoría de decisiones demostrable a solicitud: pruébelo antes de que una auditoría lo exija
Herramientas
Observabilidad de ML en IA: Arize AI, Whylogs, MLflow con registro de decisiones
Las plataformas de observabilidad de ML capturan la versión del modelo, las variables de entrada y las predicciones en el momento de la inferencia, con lo que crean el registro de decisiones de IA que el registro de API no proporciona. Para los profesionales de TPRM, preguntar si el registro de decisiones de IA del proveedor captura la versión del modelo y las variables de entrada en cada inferencia, de forma separada del registro de acceso de API, ofrece una pregunta concreta sobre la trazabilidad de las decisiones.
Desafíos de gobernanza
El desafío de gobernanza del registro de decisiones de IA es el volumen y el costo de capturar las variables de entrada en cada inferencia. Los sistemas de IA de gran volumen pueden evaluar millones de solicitudes al día, y capturar el vector completo de variables en cada inferencia genera necesidades de almacenamiento considerables. La solución de gobernanza es un registro estratificado por riesgo: trazabilidad completa de las decisiones para las decisiones de alto impacto (crédito, seguros, empleo) y un registro más ligero para las aplicaciones de menor impacto.
- Exija un registro a nivel de decisión: versión del modelo y variables de entrada en cada inferencia
- Pruebe el registro de auditoría de decisiones antes de que una auditoría regulatoria lo exija
- Alinee el periodo de conservación con los requisitos regulatorios y de litigio
- Solicite una demostración del registro de auditoría de decisiones con una muestra de decisiones históricas
- Exija el apoyo en auditorías regulatorias como obligación contractual
Si usted forma parte de un equipo pequeño
Haga la pregunta de la simulación de auditoría: si un regulador le pidiera el registro de auditoría completo de una solicitud de crédito evaluada hace dieciocho meses (la versión del modelo, las variables de entrada en el momento de la decisión y la lógica que produjo la puntuación), ¿podría proporcionar esa información? ¿Y puede demostrarlo reconstruyendo ahora mismo una decisión histórica a partir de sus registros? La solicitud de demostración revela la capacidad real que hay detrás de la documentación.
- Solicite una demostración del registro de auditoría de una decisión histórica
- Pregunte si se captura la versión del modelo en cada decisión
- Pregunte si las variables de entrada se capturan en el momento de la decisión
- Pregunte por el periodo de conservación de los registros de auditoría de decisiones
Qué exigir
Pregunte directamente:
"¿Puede demostrar el registro de auditoría completo de una decisión crediticia tomada hace dieciocho meses, en concreto la versión del modelo que tomó la decisión, las variables de entrada en el momento de la decisión y la lógica que produjo la puntuación final?"
Evidencia que debe esperar
- Demostración del registro de auditoría de decisiones históricas
- Confirmación de la captura de la versión del modelo
- Confirmación del registro de las variables de entrada en el momento de la decisión
- Periodo de conservación de los registros de decisiones
A un proveedor que confirma un registro exhaustivo se le debe pedir que demuestre la reconstrucción de una decisión histórica. La demostración revela lo que el registro captura realmente y si un registro exhaustivo de API y una trazabilidad exhaustiva de las decisiones de IA son lo mismo.
Cómo demostrarlo
- Registros de la demostración del registro de auditoría de decisiones
- Confirmación del registro de la versión del modelo
- Confirmación del registro de las variables de entrada
- Documentación del periodo de conservación
Conclusión clave
El auditor pidió el registro de auditoría. Los registros mostraban que se había llamado a la API. Se había devuelto la decisión. La versión del modelo: no capturada. Las variables de entrada: no capturadas en el momento de la decisión. Tres solicitudes en las que el expediente del cliente había cambiado desde la evaluación: variables de entrada irrecuperables. El registro de API era exhaustivo. La trazabilidad de las decisiones no existía. El registro de API y la trazabilidad de las decisiones de IA son capacidades distintas. Uno confirma que se usó el servicio. La otra permite reconstruir la propia decisión. La versión del modelo en el momento de la decisión, las variables de entrada en ese momento y los resultados intermedios para la reconstrucción son los requisitos de registro de decisiones de IA que el registro de API no aborda. Pruebe el registro de auditoría antes de que lo haga el auditor.