IA generativa em todo o ciclo de vida analítico

Tecnologia   |   Taylor Porter   |   6 de novembro de 2024 TEMPO DE LEITURA: 7 MINUTOS
TEMPO DE LEITURA: 7 MINUTOS

De acordo com um artigo da Forbes de 2016 intitulado "Cleaning Big Data: Most Time-Consuming, Least Enjoyable Data Science Task", os profissionais de dados gastam entre 60 e 80% do tempo preparando os dados.

Mais de sete anos depois, a Anaconda divulgou um relatório confirmando que pouca coisa mudou: a preparação e limpeza dos dados continua tomando o mesmo tempo desses profissionais. Outra pesquisa, realizada pela Microsoft, descobriu que 64% dos funcionários não têm tempo nem energia suficientes para concluir o trabalho.

Mas, à medida que a IA generativa se torna mais difundida, as tarefas manuais e tediosas vão desaparecendo, especialmente na área de análise de dados.

Neste artigo, compartilhamos algumas práticas recomendadas para ajudar os profissionais de dados a implementar a IA generativa em todo o ciclo de vida analítico. Incluímos insights reais de Luke Cornetta, diretor sênior da Alvarez & Marsal, que participou recentemente do podcast Alter Everything para explicar como ele usa a IA generativa nas suas tarefas fiscais para economizar tempo em tudo, desde ETL até a criação de apresentações em PowerPoint.

O que é a IA generativa no contexto do analytics?

A IA generativa é um tipo de inteligência artificial que produz novos conteúdos (texto, vídeo ou outras mídias) a partir dos dados fornecidos. Normalmente ela depende de modelos de machine learning, como modelos de linguagem avançados (LLM) e arquiteturas de transformação para gerar novos conteúdos, mas também pode usar outros tipos de modelo dependendo do conteúdo.

Na prática, ela é capaz de transformar praticamente todas as fases do ciclo de vida da análise de dados, começando com a coleta de informações críticas.

Contextualização rápida da informação

Cada setor tem sua própria terminologia e siglas. Por exemplo, você pode já ter ouvido colegas dizerem que "os ajustes de EBITDA foram impactados por lançamentos de amortização por regime de competência" ou que eles "analisaram SKUs de alta demanda para ajustar os níveis de estoque de segurança e melhorar a precisão dos prazos de espera para garantir um atendimento just-in-time".

Sua cabeça pode girar ao ouvir esse tipo de frase pela primeira vez. É por isso que soluções de IA generativa como o ChatGPT são excelentes ferramentas para contextualizar informações rapidamente. "Se estou ao telefone com alguém que está usando siglas que eu não conheço ou jargões do setor, posso perguntar rapidamente o que significam e obter uma resposta para ter pelo menos um pouco de contexto", exemplifica Luke.

Outro benefício de ferramentas como o ChatGPT é que elas fazem mais do que apenas fornecer definições. Você pode fazer perguntas específicas adicionais, por exemplo, sobre a relação entre um termo e outro ou sobre o impacto de um termo em um determinado cenário.

Fácil processamento de dados de texto não estruturados

A IA generativa é muito poderosa em sintetizar dados textuais e um divisor de águas para projetos que envolvem grandes volumes de dados não estruturados. Como parte da prática tributária, a equipe de Luke recupera muitos dados de sistemas ERP, incluindo PDFs e arquivos Excel não estruturados. Mas, em um projeto específico, foi preciso extrair comentários textuais de um arquivo Excel, cada um com entre 10 e 5.000 caracteres.

"Antes, equipes liam esses comentários, ou fazíamos algum tipo de pesquisa de palavras-chave ou alguma programação no Alteryx para tentar analisá-los. RegEx e análise de texto ajudam em certa medida, mas acabam se transformando em algo trabalhoso", continua.

Quando a equipe teve a oportunidade de trabalhar em um projeto semelhante no ano passado, já tinha um ambiente de LLM privado e seguro em funcionamento, que permitia aproveitar a IA generativa de uma forma que antes era impossível.

"O projeto contava com comentários, campos e notas com muitas informações estratégicas, como preços e horários de funcionamento, em todos os tipos de formato. Na verdade, dezenas de pessoas inseriram informações ao longo dos anos sem qualquer consistência." A equipe começou a colar os comentários em um LLM interno e descobriu que ele era surpreendentemente eficaz em compreendê-los. O passo seguinte foi usar o Alteryx.

"Aproveitamos a ferramenta tradicional de download do Alteryx para fazer essas chamadas de API e passar cada campo de comentário por essa API, aplicando mais ou menos o mesmo prompt. Assim, pudemos usar o Alteryx para analisar esses resultados de uma forma mais estruturada para carregá-los no sistema de destino."

A equipe de Luke implementou um caso de uso semelhante para outro cliente, que queria classificar melhor seus tíquetes de suporte de TI. Ela usou um processo muito semelhante para categorizar melhor esses tíquetes e ajudar a equipe de Tecnologia da Informação a entender melhor o que estava tomando mais tempo.

Use como um "copiloto" de ponta a ponta

A equipe de Luke na Alvarez & Marsal preparou as bases para criar um LLM privado e seguro, o que era um requisito extremamente importante dada a natureza sensível dos dados com os quais estava trabalhando.

Muitos profissionais de dados estão em uma situação semelhante, mas uma vez concluído o trabalho inicial de encontrar e instalar um LLM funcional e implementá-lo localmente, as possibilidades são ilimitadas.

"Experimente e veja como você pode economizar de 10 a 15 minutos nas tarefas. E é ótimo até mesmo para fornecer fórmulas do Alteryx. Peço o tempo todo que me ajude a criar uma fórmula no Alteryx. Não porque eu não saiba como fazer, mas porque sei que vou levar mais tempo fazendo isso sozinho do que a IA levaria para escrever."

Reduzir em 15 minutos uma tarefa de uma hora pode não parecer muito, mas esse número faz a diferença após semanas e anos. De acordo com a PwC, a IA generativa pode melhorar a produtividade dos trabalhadores do conhecimento em 30 a 40%.

Os copilotos analíticos são assistentes poderosos capazes de ajudar você com tudo, desde problemas gerais com dados até casos de uso mais avançados, como escolher os recursos e o modelo certos para seu projeto de machine learning.

Em todas as fases do processo analítico, as soluções de IA generativa, como nossa ferramenta Workflow Summary, podem automatizar completamente a documentação, criando resumos concisos da finalidade, entradas, saídas e principais etapas lógicas do fluxo de trabalho.

Por fim, as soluções de IA generativa são ótimas para informar seus insights às partes interessadas. Desde a criação de apresentações em PowerPoint até a elaboração de e-mails, essas soluções têm o potencial de economizar seu tempo.

Apesar dos inúmeros casos de uso da IA generativa, Luke afirma que é importante não aceitar cegamente o que ela produz. "A IA não está livre de alucinações ou interpretações errôneas de uma instrução." É por isso que ele e sua equipe verificam metodicamente os resultados fornecidos pela IA.

"Há muito trabalho de validação… É muito mais fácil criar validações em dados estruturados. Esperávamos valores extraídos dentro de um determinado intervalo ou conjunto de valores, por isso conseguimos eliminar outliers."

O segundo passo é garantir que as partes interessadas concordem sobre o que a IA pode ou não fazer. "A IA não será magicamente 100% eficaz, pelo menos não por muito tempo, talvez nunca. Mas estar em sintonia com o que a inteligência artificial pode fazer nos ajudará a começar e alcançar 80–90% dessa meta. E provavelmente ainda haverá outras coisas para observar depois chegarmos aí. Essa é a outra marca registrada dos projetos bem-sucedidos dessa natureza: garantir que as expectativas estejam alinhadas e que todos estejam confortáveis com o funcionamento das coisas."

Por fim, para quem está se perguntando como começar a usar a IA generativa, o Alteryx ou qualquer outra tecnologia, o melhor conselho de Luke é "só comece".

"Encontre um caso de uso e veja como ele pode funcionar. Não desista se ele não necessariamente fornecer o resultado certo na primeira tentativa", defende. "Conheço muitas pessoas que têm medo ou se intimidam com as novas tecnologias e eu diria a elas para experimentarem. Se você realmente der uma chance a elas, acho que pode se surpreender."

Saiba mais sobre como usar a IA generativa nas suas análises.

Experimente nossa demonstração interativa e baseada em navegador do Alteryx Auto Insights

Tags