• Aarón Almansa

Explicabilidad en Inteligencia Artificial

Concepto, Métodos y Determinación de Cuando y Por Qué es importante


Los modelos predictivos basados en Inteligencia Arificial (IA) nos permiten establecer predicciones para gestionar los negocios y tomar decisiones mucho más acertadas y basadas en ciencia.

Podemos saber con claridad y un grado de certidumbre muy alto, qué clientes tienen mayor probabilidad de darse de baja de una suscripción, qué prospectos de una campaña específica tienen mayor propensión a comprar, qué clientes no podrán pagar una hipoteca, la probabilidad de desarrollar diabetes en los próximos dos años o si un candidato para un puesto de trabajo es una buena opción.

También es posible segmentar, usando modelos de perfilado (profiling), para obtener grupos significativos de elementos (Clientes, Productos, …) que presenten afinidades que a simple vista no son fáciles de detectar.

La IA identifica patrones matemáticos que se encuentran en miles de variables y las relaciones y dependencias que existen entre ellas. Estos patrones pueden ser tan complejos que escapan a la comprensión humana, ya que si bien conocemos al detalle cuales son las variables que aportamos al algoritmo de IA (bajas históricas de clientes, prospectos que contrataron, solicitudes de hipoteca, historiales médicos, currículums) y entendemos perfectamente los resultados obtenidos (Bajas previstas, leads que contratarán, aprobación del préstamo, diabetes, candidatos a entrevistar), no sabemos exactamente porqué el algoritmo ha obtenido esos resultados.


La IA sigue siendo hoy en día una “caja negra”, en el sentido de que no detalla las razones de sus resultados, ni proporciona el porqué de su elección, por lo que es frecuente y lógico preguntarse sobre el grado de solidez y certidumbre de las predicciones, cómo se justifican, hasta qué punto podemos fiarnos de resultados que no entendemos, …. cuando están involucradas en toma de decisiones importantes.


Para poder obtener una explicación que describa las razones por las cuales un algoritmo de IA ha hecho una predicción específica, se está avanzando mucho en lo que los expertos y analistas han llamado XAI “Explainable Artificial Intelligence”.


Explicación Adecuada

Una buena explicación de los resultados de un algoritmo de IA debe ser inteligible para su público objetivo. La audienciaque consume los resultados puede ser muy variada y tener diferentes perspectivas: reguladores, usuarios finales, científicos de datos, directivos encargados de proteger la marca de la organización y consumidores afectados. Todos estos grupos de personas tienen diferentes habilidades, conocimientos, intereses y objetivos, y una buena explicación debe estar adaptada a la audiencia y a menudo es posible que se requieran diferentes explicaciones para diferentes audiencias.

También es clave para conseguir una buena explicación que sea útil, en el sentido de que ayude a la audiencia a lograr sus objetivos. Por ejemplo:

  • Un cliente al que no se le concede la hipoteca en un banco querrá entender por qué se la denegaron, para así poder hacer los cambios que le permitan poder acceder a ella la próxima vez o en otro banco

  • Un médico necesita saber por qué se generó la predicción sobre la enfermedad del paciente para poder determinar si la IA ha detectado un patrón que el equipo médico no vió, o bien determinar si la predicción podría estar equivocada

Métodos de Explicación

A nivel básico, podemos distinguir dos métodos de explicación:

  • Local - Se enfoca en explicar cómo el modelo hizo una predicción específica

  • Global - Busca describir el comportamiento general de un modelo completo

Debido a la complejidad de los algoritmos de Deep Learning que funcionan de forma no lineal, los métodos de explicación globales son complicados y normalmente se basan en la creación de otros modelos separados. Por ello, los investigadores han centrado su enfoque de investigación fundamentalmente en los métodos de explicación locales.


Los tipos más populares de métodos de explicación local se dividen en tres categorías:

  1. Atribución de características. Son los más utilizados y se centran en mostrar las características/variables más importantes (con más relevancia), para que el modelo haga una predicción específica. Las características son las variables de entrada que alimentan al modelo y que se utilizan para detectar el patrón y en base a él obtener la predicción

  2. Contraste. Dada una variable y la predicción de un modelo, estos métodos muestran cómo cambiar esa variable para que el resultado caiga en otra categoría. Por ejemplo, si un modelo predice que a un individuo se le negará una hipoteca, la explicación de contraste muestra qué variables deben cambiar para que se acepte su solicitud de préstamo (Podría ser que su nivel de ingresos, su valoración de crédito o ambas características a la vez debieran ser más altas)

  3. Importancia de la muestra. A diferencia de los otros dos, este método requiere acceso a los datos que se usaron para entrenar el modelo. Una explicación de este tipo describe en qué ventana de los datos del entrenamiento se basó más el modelo para hacer la predicción. Este tipo de explicación es particularmente útil si se observa una predicción aparentemente irracional. En esos casos es posible que haya habido un error de entrada de datos que afecte a una muestra en particular que se usó para entrenar el modelo. Con este conocimiento, se puede corregir esa muestra, y volver a entrenar el modelo con los datos correctos para mejorar su precisión.

Cuando es necesaria la Explicabilidad

Intentar explicar cómo un algoritmo de IA obtiene sus resultados utilizando los métodos descritos, exige tiempo y recursos, no es gratis. Por eso es importante determinar en qué situaciones se necesitan resultados explicables.

Por ejemplo:

  • Un algoritmo de reconocimiento de imágenes puede ayudar a los clientes a etiquetar fotos de sus perros cuando suben sus fotos a la nube. En este caso, la precisión es importante, pero saber exactamente el cómo o por qué se han etiquetado de una forma en concreto no es relevante

  • Un modelo que predice cuándo llegará el envío de tornillos a la fábrica de juguetes tampoco necesita de muchas explicaciones

Una regla general para determinar si Explicabilidad es o no necesaria sería la siguiente:

  • NO ES NECESARIA cuando se hacen predicciones de bajo riesgo sobre entidades que no son personas

  • ES IMPORTANTE cuando los resultados se relacionan directamente con la forma en que se trata a las personas


11 visualizaciones0 comentarios

Entradas Recientes

Ver todo