Un artículo de Forbes de 2016 titulado “Cleaning Big Data: Most Time-Consuming, Least Enjoyable Data Science Task” reveló que los profesionales de datos dedican entre el 60 y el 80 % de su tiempo a la preparación de datos.
Más de siete años después, Anaconda publicó un informe que confirma que poco ha cambiado: la preparación y limpieza de datos siguen ocupando la mayor parte del tiempo de los profesionales de datos. Otra encuesta realizada por Microsoft halló que el 64 % de los empleados no tiene ni el tiempo ni la energía suficientes para realizar su trabajo.
Pero a medida que la IA generativa se vuelve más común, finalmente, la situación está cambiando en torno al trabajo manual y tedioso, especialmente en el análisis de datos.
En este blog, compartimos algunas de las mejores formas en que los profesionales de datos pueden aprovechar la IA generativa a lo largo del ciclo de vida de la analítica, lo que incluye insights del mundo real de Luke Cornetta, Senior Director de Alvarez & Marsal, quien recientemente se unió al podcast Alter Everything para compartir cómo utiliza la IA generativa en su práctica fiscal para ahorrar tiempo en todo, desde el proceso ETL hasta la creación de PowerPoints.
¿Qué es la IA generativa para la analítica?
La IA generativa es un tipo de inteligencia artificial que genera nuevo contenido (texto, video u otros medios) basado en datos de entrada. Por lo general, usa modelos de aprendizaje automático como los modelos de lenguaje grande (LLM) y las arquitecturas de transformadores para generar nuevo contenido, pero también puede usar otros tipos de modelos dependiendo del contenido que esté creando.
En la práctica, puede transformar prácticamente cada paso del ciclo de vida del análisis de datos, comenzando con la recopilación de información esencial.
Contextualizar información con rapidez
Todas las industrias están plagadas de terminología y acrónimos que son propios de cada una. Por ejemplo, es posible que hayas escuchado frases en tu organización como “los ajustes del EBITDA se vieron afectados por las entradas de amortización contabilizadas” o “analizamos los SKU de alta demanda para ajustar los niveles de existencias de seguridad y mejorar la precisión del tiempo de entrega para el cumplimiento justo a tiempo”.
Probablemente te marees al escuchar algunas de estas frases por primera vez. Las soluciones de IA generativa como ChatGPT son excelentes herramientas para contextualizar información con rapidez. “Si estoy hablando por teléfono con alguien y usa acrónimos que no conozco, o si usa lenguaje propio de la industria, puedo preguntar rápidamente: ”¿Qué significa esto?“ y obtener una respuesta para tener al menos algo de contexto”, dijo Cornetta.
Una ventaja adicional de las herramientas como ChatGPT es que pueden ir más allá de proporcionar definiciones simples. Puedes hacer preguntas de seguimiento específicas, como por ejemplo, cómo se relaciona un término con otro o cómo un término podría afectar un determinado escenario.
Procesar datos de texto no estructurado con facilidad
La IA generativa es una herramienta poderosa para sintetizar datos basados en texto y un punto de inflexión para proyectos que manejan grandes cantidades de datos no estructurados. En la práctica fiscal de Cornetta, su equipo extrae muchos datos de sistemas ERP, incluidos archivos PDF y Excel no estructurados. Pero para un proyecto en particular, tuvieron que extraer comentarios basados en texto de un archivo de Excel, en donde cada comentario variaba de 10 a 5000 caracteres.
“En el pasado, había equipos de personas que leían esos comentarios, o quizás hacíamos algún tipo de verificación de palabras clave o lógica en Alteryx para intentar analizarlos. Las RegEx y el análisis de texto pueden llevarte lejos, pero se convierte en un ejercicio de fuerza bruta”, dijo.
Cuando el equipo tuvo la oportunidad de trabajar en un proyecto similar el año pasado, ya tenían configurado un LLM privado y seguro, lo que significaba que podían aprovechar la IA generativa de una manera que antes no era posible.
“El proyecto en el que estábamos colaborando tenía comentarios, campos y notas que contenían mucha información comercial fundamental, como precios y horarios de operación en todo tipo de formatos de decenas de personas que durante años escribieron la información de manera no estandarizada”. El equipo comenzó a pegar los comentarios en un LLM interno y descubrió que era sorprendentemente bueno para darles sentido. El siguiente paso fue aprovechar Alteryx.
“Pudimos aprovechar la herramienta Descargar tradicional en Alteryx para hacer esas llamadas a la API y, en esencia, pasar cada campo de comentario a través de esa API aplicando más o menos la misma indicación. Luego, pudimos usar Alteryx para analizar esos resultados de una manera más estructurada y cargarlos en el sistema objetivo”.
El equipo de Cornetta implementó un caso práctico similar para otro cliente que buscaba clasificar mejor sus tickets de soporte de TI. El equipo utilizó un proceso muy similar para categorizar mejor los tickets de soporte y ayudar al equipo de TI a comprender mejor dónde dedicaba la mayor parte de su tiempo.
Usarlo como un “copiloto” integral
El equipo de Cornetta de Alvarez & Marsal ha hecho el trabajo preliminar de crear un LLM privado y seguro, lo que fue un requisito increíblemente importante dada la naturaleza sensible de los datos con los que trabajan.
Muchos trabajadores de datos se encuentran en una situación similar, pero una vez que se realiza el trabajo inicial de encontrar e instalar un LLM funcional y configurarlo localmente, el cielo es el límite.
“Ve y comprueba cómo puede ahorrarte de 10 a 15 minutos en las tareas. ...Es excelente incluso para darte fórmulas de Alteryx. Se lo pregunto todo el tiempo para que me ayude a redactar una fórmula de Alteryx... no porque no sepa cómo hacerlo, sino porque sé que me llevará más tiempo hacerlo yo mismo que dejar que la IA lo escriba”.
Reducir 15 minutos de una tarea de una hora puede no parecer mucho, pero se suma con el tiempo. Según PwC, la IA generativa puede hacer que los trabajadores del conocimiento sean un 30-40 % más productivos.
Los copilotos de analítica son asistentes poderosos que pueden ayudar con todo, desde preguntas de alto nivel sobre tu conjunto de datos hasta casos prácticos de analítica más avanzados, como ayudarte a elegir las características y el modelo adecuados para tu último proyecto de aprendizaje automático.
A lo largo de cada paso de tu analítica, las soluciones de IA generativa como nuestra herramienta de Resumen de flujo de trabajo pueden automatizar completamente la documentación, ya que crean resúmenes concisos del propósito, las entradas, las salidas y los pasos lógicos clave de tu flujo de trabajo.
Por último, las soluciones de IA generativa son excelentes para generar informes de tus insights para los stakeholders. Desde crear presentaciones en PowerPoint hasta redactar correos electrónicos, estas soluciones pueden ahorrarte horas.
A pesar de los múltiples casos prácticos de la IA generativa, Cornetta dice que es importante no aceptar sus resultados a ciegas. “Existen riesgos con la IA en cuanto a las alucinaciones y las malas interpretaciones de una indicación”. Por esta razón, él y su equipo revisan metódicamente los resultados de la IA.
“Hacemos muchas validaciones... es mucho más fácil generar validaciones en datos estructurados. Esperábamos que los valores que estábamos extrayendo estuvieran dentro de un cierto rango o un cierto conjunto de valores, por lo que pudimos descartar los valores atípicos”.
El segundo paso para el éxito es asegurarse de que los stakeholders estén alineados sobre lo que la IA puede y no puede hacer. “La IA no va a alcanzar una precisión del 100 % como por arte de magia, probablemente no por mucho tiempo, si es que alguna vez lo hace, pero debemos coincidir en que nos ayudará a arrancar y nos adelantará un 80-90 % del camino. Y luego todavía habrá cosas que probablemente necesiten una revisión adicional. Por lo tanto, ese es el otro sello distintivo de los proyectos exitosos de este tipo: asegurarse de que las expectativas estén alineadas y de que todos estemos cómodos con la forma en que funciona”.
Finalmente, para cualquiera que se pregunte cómo comenzar a usar la IA generativa, Alteryx o cualquier tecnología, el mejor consejo de Cornetta es “simplemente empezar”.
“Encuentren un caso práctico y miren cómo puede funcionar, y no se rindan cuando no tengan el resultado correcto en el primer intento”, dijo. “Sé que mucha gente le tiene miedo o se siente intimidada por el uso de nuevas tecnologías, y yo les diría que simplemente lo intenten. Deben darle una oportunidad real y honesta, y creo que se sorprenderán”.
Aprende más sobre cómo usar la IA generativa en tu analítica.
Prueba nuestra demostración interactiva basada en navegador de Alteryx Auto Insights.