Los desafíos de la explicabilidad de la IA surgen de la brecha entre lo que pueden revelar las herramientas de explicabilidad (qué variables contribuyeron a una decisión concreta y en qué medida) y lo que exigen los marcos legales y regulatorios: una explicación que vincule esas variables con una justificación de la decisión legítima y auditable. Un regulador que revisa una denegación de crédito necesita entender no solo qué variables ponderó más el modelo, sino si esas variables representan criterios legítimos de solvencia crediticia o posibles variables sustitutas discriminatorias. Los valores SHAP responden técnicamente a la primera pregunta y dejan la segunda completamente sin abordar. El sistema de explicación revela el razonamiento estadístico del modelo. No valida que ese razonamiento estadístico refleje una evaluación legítima del riesgo crediticio. Esta brecha entre la explicabilidad técnica y una explicación jurídicamente suficiente es el desafío de explicabilidad al que se enfrenta toda empresa que despliega IA para decisiones de consecuencia en sectores regulados.
El problema de la validación de la legitimidad de las variables es el desafío central. Los modelos de crédito, de suscripción de seguros y de selección de personal deben basarse en variables legítimas, que reflejen factores reales de riesgo o de idoneidad y no variables sustitutas de grupos protegidos ni sesgos históricos. Las explicaciones SHAP identifican las variables más influyentes del modelo. No evalúan si esas variables son legítimas. Una variable que predice con fuerza el incumplimiento crediticio en los datos históricos de entrenamiento puede estar fuertemente correlacionada con ese resultado porque refleja genuinamente la solvencia crediticia, o porque es una variable sustituta de una característica demográfica que históricamente se asoció con un menor acceso al crédito debido a la discriminación sistémica. El valor SHAP es idéntico en ambos casos.
El problema de la traducción a lenguaje sencillo es la segunda dimensión de la explicabilidad. Los requisitos legales de explicación (el artículo 22 del GDPR, la Equal Credit Opportunity Act y los requisitos de la Ley de IA de la UE para los sistemas de alto riesgo) exigen explicaciones que tengan sentido para una persona no especialista. Una descomposición de valores SHAP no es una explicación en lenguaje sencillo. Traducir la atribución técnica de variables a una explicación en lenguaje sencillo que una persona sin formación estadística pueda entender y evaluar requiere un paso de traducción independiente que la mayoría de las herramientas de explicabilidad no ofrecen automáticamente.
Por qué es importante
Los desafíos de la explicabilidad de la IA son relevantes para TPRM porque los requisitos legales y regulatorios de explicación de la IA son mucho más exigentes que lo que las herramientas actuales de explicabilidad ofrecen automáticamente. A un proveedor que confirma la implementación de la explicabilidad se le debe preguntar específicamente si sus explicaciones cumplen la norma de suficiencia jurídica para su contexto de despliegue, no solo si pueden producir valores SHAP.
- Explicabilidad técnica equiparada a la suficiencia jurídica de la explicación
- Validación de la legitimidad de las variables ausente del marco de explicabilidad
- Traducción a lenguaje sencillo no implementada junto con los valores SHAP
- Norma regulatoria de explicación no evaluada frente a los resultados del sistema de explicación
- Evaluación de la discriminación por variables sustitutas no integrada en la revisión de la explicabilidad
Cómo se ve una buena práctica
Los programas maduros de explicabilidad de la IA producen explicaciones que abordan tanto la dimensión técnica como la jurídica: valores SHAP para la atribución técnica junto con explicaciones en lenguaje sencillo que vinculan las contribuciones de las variables con criterios de decisión legítimos, validadas en cuanto a la legitimidad de las variables y al riesgo de discriminación por variables sustitutas.
- Valores SHAP más traducción a lenguaje sencillo: explicación técnica y accesible a la vez
- Documentación sobre la legitimidad de las variables: cada variable con mayor contribución validada como criterio legítimo
- Evaluación de la discriminación por variables sustitutas en las variables con mayor contribución
- Evaluación del cumplimiento de la norma regulatoria de explicación
- Ejemplos de explicación de decisiones individuales disponibles a solicitud
Herramientas
Explicabilidad: SHAP, LIME, IBM Watson OpenScale para la explicación de decisiones individuales
Las herramientas de explicabilidad proporcionan la atribución técnica de las variables. Para los profesionales de TPRM, solicitar un ejemplo de la explicación en lenguaje sencillo que se proporcionaría a una persona afectada, que vincule las contribuciones de las variables con criterios de decisión legítimos, aporta la evaluación de la suficiencia jurídica que la revisión de los valores SHAP por sí sola no ofrece.
Desafíos de gobernanza
El desafío de gobernanza de la explicabilidad de la IA es la brecha de traducción entre lo técnico y lo jurídico. Los científicos de datos entienden los valores SHAP. Los reguladores y las personas afectadas requieren explicaciones en lenguaje sencillo. La traducción entre ambos requiere conocimientos técnicos y jurídicos a la vez, una combinación que pocos equipos de proveedores han integrado plenamente en sus procesos de explicabilidad.
- Solicite un ejemplo de explicación en lenguaje sencillo, no solo un resumen de valores SHAP
- Solicite documentación sobre la legitimidad de las variables con mayor contribución
- Evalúe el cumplimiento de la norma regulatoria de explicación para el contexto de despliegue concreto
- Solicite una evaluación de la discriminación por variables sustitutas para la revisión de la explicabilidad
- Incluya la suficiencia de las explicaciones en los requisitos contractuales de los proveedores de IA
Si usted forma parte de un equipo pequeño
Solicite un ejemplo concreto y completo de la explicación que se proporcionaría a una persona afectada: la carta o comunicación que recibiría un solicitante de crédito explicando por qué se denegó su solicitud. Ese ejemplo revela si el sistema de explicabilidad produce explicaciones individuales jurídicamente suficientes o solo los datos técnicos de atribución que habría que traducir para elaborarlas.
- Solicite un ejemplo completo de explicación para una persona afectada
- Evalúe si el ejemplo vincula las contribuciones de las variables con criterios legítimos
- Solicite documentación sobre la legitimidad de las variables
- Evalúe el cumplimiento de la norma regulatoria de explicación
Qué exigir
Pregunte directamente:
“¿Puede proporcionar un ejemplo completo de la explicación que se daría a un solicitante de crédito cuya solicitud fue denegada, es decir, la explicación concreta en lenguaje sencillo que vincule las contribuciones de las variables del modelo con criterios legítimos de solvencia crediticia?”
Evidencia que debe esperar
- Ejemplo completo de explicación en lenguaje sencillo para la persona afectada
- Documentación sobre la legitimidad de las variables con mayor contribución
- Evaluación de la discriminación por variables sustitutas
- Evaluación del cumplimiento de la norma regulatoria de explicación
A un proveedor que confirma la explicabilidad se le debe solicitar el ejemplo en lenguaje sencillo. La explicabilidad técnica revela lo que usó el modelo. La suficiencia jurídica de la explicación exige vincular lo que usó con la razón por la que se trata de un motivo legítimo. Ambas son necesarias. La solicitud del ejemplo pone a prueba las dos.
Cómo demostrarlo
- Ejemplos de explicación en lenguaje sencillo
- Documentación sobre la legitimidad de las variables
- Evaluación de la discriminación por variables sustitutas
- Cumplimiento de la norma regulatoria de explicación
Conclusión clave
Valores SHAP: lo que usó el modelo, con atribución estadística. Por qué esas variables son indicadores válidos del riesgo crediticio y no variables sustitutas de sesgos históricos en los préstamos: no puede responderse solo con los resultados de SHAP. La explicabilidad técnica es un requisito previo. La suficiencia jurídica de la explicación es el requisito. La brecha entre ambas es la validación de la legitimidad de las variables y la traducción a lenguaje sencillo. SHAP muestra lo estadístico. La explicación jurídica requiere lo legítimo. La solicitud del ejemplo (entrégueme la carta que recibiría el solicitante rechazado) es la prueba que distingue la atribución técnica de una explicación jurídicamente suficiente.