Guía esencial sobre IA explicable (XAI)

IA explicable (XAI)

es la inteligencia artificial (IA) que ayuda a cualquier persona sin conocimiento previo sobre tecnología o ciencia de datos a entender cómo los modelos de aprendizaje automático (ML) toman una decisión.

Por ejemplo, si entrenaste a un modelo de ML con una colección de datos financieros para ayudarte a aprobar o rechazar a los solicitantes de préstamos, la XAI te daría la respuesta, además de informarte cómo y por qué llegó a ella.

Esto es diferente de los modelos de caja negra, que son más comunes en el mundo del ML, en el que algunos modelos son más interpretables que otros. Por ejemplo, los árboles de decisión proporcionan resultados interpretables con mayor facilidad, mientras que las redes neuronales son menos claras. Por este motivo, a menudo existe una compensación entre la exactitud y la capacidad de explicación.

Además, incluso las personas que diseñan e implementan modelos de caja negra no saben qué información utilizó el modelo o cómo utilizó la información para generar un resultado.

En el ejemplo anterior sobre las solicitudes de préstamo, un modelo de caja negra solo proporcionaría una puntuación que podrías utilizar para informar tu decisión de aprobar o denegar el préstamo.

Para empresas y líderes que necesitan garantizar transparencia, exactitud y decisiones imparciales, los resultados del modelo de caja negra son peligrosos. Además, muchos utilizan modelos proxy para explicar cómo funcionan.

Rechazar un préstamo a alguien que de otro modo tendría la solvencia y la capacidad financiera para que se lo aprobaran podría dar lugar a reclamos por discriminación. Para cualquier empresa, los modelos de caja negra y las malas decisiones que se toman con ellos también podrían causar la pérdida de clientes a través de una pérdida de confianza o de oportunidades.

Otros usos de XAI son los siguientes:

• Instituciones financieras que utilizan modelos de ML para aprobar o denegar préstamos
• Compañías de seguros que utilizan modelos de ML para establecer tarifas de seguros
• Ajustes de reclamos mediante modelos de ML para calcular los montos de pago
• Instituciones educativas que utilizan ML para aceptar o rechazar a los solicitantes
• Departamentos de RR. HH. que utilizan modelos de ML para filtrar a los postulantes
• Pagadores y proveedores del sistema de salud que utilizan modelos de ML para explicar las opciones de tratamiento y las decisiones sobre reclamos

La importancia de la capacidad de explicación de la IA

La XAI es importante por dos razones principales: transparencia y confianza externas e internas.

Transparencia y confianza externas

La importancia de la capacidad de explicación de la IA va más allá de cuando se toma una decisión incorrecta. En general, la gente aún no confía en la IA, al menos, cuando se usa como reemplazo de personas.

La revista Harvard Business Review (HBR) llevó a cabo experimentos ciegos entre descripciones de diferentes cosas, como abrigos, perfumes, casas y pasteles, escritas por IA y personas.

Las personas favorecieron las descripciones de la IA, al menos cuando basaban sus decisiones en “cualidades funcionales y de utilidad”.

Sin embargo, lo más importante es que HBR “descubrió que las personas adoptan las recomendaciones de la IA, siempre y cuando la IA trabaje en colaboración con los seres humanos” en lugar de reemplazarlos.

La XAI funciona bien con modelos de IA asistidos o aumentados y explicaciones. La XAI ayuda a las personas con cualquier tipo de conocimiento previo a explicar por qué se utilizan ciertos datos y cómo se obtienen las respuestas.

Considera un ejemplo de alguien que busca asesoramiento para invertir su fondo de jubilación. El inversionista puede proporcionarte sus ingresos y objetivos y, luego, buscar tu asesoramiento. Puedes pasar su información a través de un modelo de aprendizaje automático y proporcionarle recomendaciones.

Al trabajar en conjunto con la IA, podrías explicar por qué se eligió una opción por sobre otra y qué información se utilizó para los resultados finales.

También hay muchos otros usos.

Esa es la parte orientada al cliente de la ecuación. La siguiente parte es la parte interna de la ecuación.

Transparencia y confianza internas

Incluso con los modelos de ML actuales, siempre hay una oportunidad para que se filtren el sesgo y la degradación.

Los datos a menudo vienen sesgados, ya sea de manera intencional o no. Datos como edad, raza, sexo, antecedentes de salud, situación financiera, ingresos, ubicación y mucho más pueden producir sesgos; de hecho, cualquier dato puede crear un sesgo y algunos son características protegidas que no se pueden utilizar en los modelos. Además, siempre existe cierto riesgo de que esos aportes afecten la forma en que la IA aprende.

Si ubicas todos esos elementos en una caja negra, un modelo de ML podría producir resultados que favorezcan a un grupo de personas sobre otro.

Además de esto, el entrenamiento de la IA nunca es un proceso fácil. Y el entrenamiento nunca es lo mismo que el rendimiento en el mundo real.

Un modelo entrenado con un conjunto de datos puede producir resultados maravillosos con esos datos, pero una vez que se ingresan los datos del mundo real en el modelo, puede producir resultados muy diferentes.

En pocas palabras, un analista o un científico de datos podría crear un modelo de ML de caja negra que funcione a la perfección y sin sesgo durante el entrenamiento, pero que luego produce resultados sesgados o deficientes cuando se implementa.

Además, a veces, los modelos tienen que adaptarse a los cambios en los datos o las regulaciones.

Desde el 18 de noviembre de 2021 hasta el 14 de diciembre de 2021, un informe de seguimiento de Brookings mostró 43 regulaciones en vigencia, en resolución o derogadas que afectaban a las industrias de finanzas, fabricación, sistema de salud y mucho más.

Garantizar y explicar cómo los modelos de caja negra se actualizaron para tener en cuenta regulaciones nuevas o revisadas sería problemático, si no imposible.

La XAI les facilita a los desarrolladores la actualización y mejora de los modelos, además de medir su eficacia y cumplir con las nuevas regulaciones. Por supuesto, existe la ventaja adicional de contar con un rastro de datos que se puede auditar con facilidad.

IA interpretable en comparación con IA explicable

Si bien los analistas y los científicos de datos crean los modelos de ML, a menudo son aquellos en puestos ejecutivos y otros roles de liderazgo los que necesitan comprender los resultados.

Esta es la principal importancia de la XAI, y una de las mayores diferencias entre esta y la IA interpretable.

Mientras que la XAI es un subconjunto de la IA que se centra en hacer que los modelos de ML sean más comprensibles para las personas que no tienen conocimiento previo en ciencia de datos, la IA es un subcampo del aprendizaje automático que se centra en la transparencia y capacidad de interpretación de los modelos.

Los métodos de IA guían el desarrollo y la implementación de la XAI a través de las siguientes cuatro preguntas clave:

1. ¿A quién se deben explicar los resultados?
2. ¿Por qué se deberían explicar los resultados y para qué propósitos?
3. ¿Cuáles son las diferentes maneras en que se podrían explicar los resultados?
4. ¿Qué se debería explicar antes y después de crear el modelo, y durante su creación?

En el ejemplo de la recomendación financiera anterior, una empresa podría querer desarrollar un modelo de XAI y utilizar las siguientes preguntas para guiarlos en eso:

¿A quién se deben explicar los resultados? 

• Cliente
• Gerente/ejecutivo
• Agencia reguladora

¿Por qué se deberían explicar los resultados y para qué propósitos?

• Ayudar a los clientes a comprender por qué las opciones de inversión recomendadas son más adecuadas para ellos
• Ayudar a los encargados de tomar decisiones a comprender por qué recomiendas ciertos planes de inversión sobre otros
• Mantener el cumplimiento y acelerar el proceso de auditoría

¿Cuáles son las diferentes maneras en que se podrían explicar los resultados?

• Explicar las recomendaciones basadas en el razonamiento financiero o emocional
• Demostrar el valor de las recomendaciones centradas en el cliente y en la empresa
• Demostrar cómo las decisiones se adhieren a todas las regulaciones y cómo el modelo garantiza eso

¿Qué se debería explicar antes y después de crear el modelo, y durante su creación?

• Por qué se recopila cierta información personal, para qué se utiliza y cómo afecta las recomendaciones
• La importancia de crear el modelo y lo que se debe cambiar o modificar para ayudar a justificar las decisiones a los clientes y ejecutivos
• Cómo el modelo aborda las regulaciones actuales y cómo se puede modificar para cumplir con las regulaciones nuevas y futuras

Ejemplos de IA explicable

Podría decirse que uno de los usos más comunes de la XAI se encuentra en un contexto normativo. Las evaluaciones de riesgos, las calificaciones crediticias y las decisiones sobre reclamos a menudo requieren preguntas más profundas.

Sin embargo, la XAI puede ayudar en varias industrias y departamentos, incluso cuando las regulaciones no están involucradas. Podría decirse que el aspecto explicativo de las hojas de la XAI puede aumentar la toma de decisiones en varias industrias y departamentos, entre ellos, los siguientes:

• Garantizar que en el análisis de sentimiento se comprenda correctamente el contexto y el significado de las palabras utilizadas
• Modificar las previsiones de demanda cuando los nuevos datos entran en conflicto con los datos del entrenamiento y pueden afectar el rendimiento del modelo
• Aumentar la exactitud del diagnóstico médico en el sistema de salud y ayudar a explicar a los pacientes cómo se realizó el diagnóstico
• Tomar decisiones en tiempo real sobre el triaje y el tratamiento médico de emergencia
• Explicar las decisiones de contratación finales tomadas por los departamentos de RR. HH.
• Proporcionar recomendaciones de marketing a los clientes y aumentar la relevancia de los mensajes y las ofertas
• Recomendar las siguientes acciones para los representantes de ventas y calcular la comisión de ventas
• Explicar el razonamiento detrás de las decisiones de optimización de precios
• Ajustar los bots de chat de servicio al cliente según los comentarios de acuerdo con el análisis de sentimiento

Hay muchos casos prácticos más para la XAI, pero la idea es que la XAI ayuda a comprender los resultados complejos de los modelos de aprendizaje automático. No todos deben comprender cómo funciona un modelo de aprendizaje automático, pero todos deben confiar en los resultados. Y la XAI nos ayuda a hacerlo.

Elección de la plataforma adecuada para la capacidad de explicación del modelo

La plataforma de ML adecuada depende de una gran cantidad de factores, pero los cuatro principales son los siguientes:

• ¿Quién debe utilizarla para crear modelos?
• ¿Quién debe utilizarla para explicar los resultados?
• ¿Qué tipo de datos utilizas?
• ¿Qué tipo de respuestas necesitas?

¿Quién debe utilizarla para crear e implementar modelos?

Es posible que no tengas un equipo de ciencia de datos. O ni siquiera un científico de datos.

Casi un 80 % de las empresas no tiene un científico de datos entre su personal, por lo que lo más probable es que la persona que utiliza tu plataforma sea un analista o un trabajador del conocimiento.

Necesitarás una plataforma que casi cualquier persona pueda utilizar para crear modelos; y no solo para tu equipo actual, sino también para futuras contrataciones.

Las plataformas basadas en la nube y en las instalaciones con capacidades de arrastrar y soltar (o sin código o código simple) ofrecen la curva de aprendizaje más corta en la comprensión e implementación de la ciencia de datos.

Las plataformas con ML automatizado (AutoML) reducen aún más la curva de aprendizaje, ya que proporcionan rutas guiadas y recomendaciones para el uso del modelo, lo que elimina la necesidad inicial de comprender qué modelos y procesos matemáticos se deben utilizar primero.

Si cuentas con un equipo dedicado de científicos de datos, puedes utilizar las plataformas de AutoML y sin código o con código simple para acelerar la producción, pero tu equipo probablemente querrá utilizar además Python, R u otro lenguaje.

¿Quién debe utilizarla para explicar los resultados?

De manera similar a lo que sucede en tu equipo de analítica, también habrá una amplia gama de experiencia y conocimientos entre tus equipos de liderazgo y ejecutivos.

Tu plataforma tendrá que acomodarse tanto a los gerentes recién contratados de forma externa o ascendidos de manera interna, como a los ejecutivos principales que podrían no interactuar con la XAI de manera regular.

Los modelos de ML que proporcionan rastros claros de linaje de datos, notas para explicar los puntos de datos y explicaciones automatizadas, acortan la curva de aprendizaje para ti y tu equipo.

Además, las plataformas que proporcionan resultados de programación y pueden convertir modelos en aplicaciones analíticas que se pueden compartir ayudarán a tu organización a compartir datos y aumentar la transparencia.

¿Qué tipo de datos utilizas?

Consulta con tu equipo. Pregúntales a todos qué tipos de conjuntos de datos utilizan y cómo los incorporan en el análisis hoy en día.

Una de las mayores desventajas del desarrollo de los modelos de ML es todo el trabajo de preparación que se debe realizar en las primeras etapas.

Las plataformas de AutoML que también automatizan la analítica, como la preparación y limpieza de datos, pueden acelerar de manera considerable el proceso de implementación.

Comprueba cómo una plataforma maneja diferentes conjuntos de datos y fuentes de datos. ¿Puede utilizarlos todos o se necesita trabajo adicional antes de que los datos se puedan utilizar? ¿Con qué facilidad se puede repetir el proceso si se utiliza para hacer previsiones y otros modelos que dependen de datos cambiantes?

¿Qué tipo de respuestas necesitas?

Algunas personas pueden esperar una semana, un mes o incluso un trimestre por un informe. Otras necesitan resultados más actuales.

Cuanto más rápido necesites los insights, más necesitarás una plataforma que pueda adaptarse con rapidez e incorporar nuevos datos. Esto incluye los procesos mencionados anteriormente, como la preparación y la limpieza.

Todos los modelos de XAI deben ayudarte a responder varias preguntas a los clientes, colegas y a ti mismo. Como mencionamos antes, cuanto más corta sea la curva de aprendizaje para ti, más rápido podrás proporcionar respuestas a los demás.

Busca una plataforma de ML con la que también te sientas cómodo.