Estamos em janeiro de 2010. A Grande Recessão está diminuindo nos Estados Unidos e a economia global ainda está em recuperação (assim como os hábitos de gasto do seu cônjuge). No mundo da tecnologia, você acabou de ouvir boatos sobre um tablet revolucionário da Apple chamado "iPad" ou algo assim (você não se lembra do nome certo), mas ainda está tentando entender como alguém pode gastar US$ 500 em uma versão maior do seu iPhone 3.
Você ainda não sabe, mas uma mudança histórica está acontecendo no setor de data science e análise de dados. Graças às mudanças na tecnologia e na cultura, os dados estão se tornando mais predominantes do que nunca e, com isso, surge a necessidade crescente de decifrá-los, aplicando-os na resolução de problemas econômicos, sociais e de negócios.
Dean Stoecker, CEO da Alteryx, explica a revolução desta forma: "A era agrícola nos ajudou a alimentar as pessoas e resultou em dados que nos informam como a humanidade depende da terra. A era industrial nos ajudou a fabricar produtos que geraram dados sobre como a humanidade interage com as coisas que não vêm da terra. A era da informação levou a humanidade a criar uma expansão de dados tanto física quanto virtualmente. Hoje vivemos a 4ª era, a era da análise de dados, em que a humanidade tem a missão de compreender todas as informações, resolvendo todos os problemas que já enfrentamos. Isso vai ser divertido".
O PASSADO ANALÍTICO
Os dados se tornam uma mercadoria
Ninguém chamaria os dados de "raros" no início dos anos 2010. Segundo a IDC, em 2010 o mundo gerava 1 zettabyte (ZB) de dados por ano. Mas, em comparação com os 33 ZB produzidos em 2018 e a estimativa de 175 ZB que serão produzidos em 2025, aquele pequeno volume de ZB era apenas uma gota no oceano.
Para que você tenha uma perspectiva melhor, um zettabyte é um trilhão de gigabytes ou um sextilhão de bytes, ou seja, mais que o número de vezes que toda a humanidade respirou em 2019 (77 quatrilhões). E, como os gênios matemáticos já devem ter solucionado, de 1 para 175 ZB, temos um aumento de 17.400%. Nem a nave espacial Enterprise teria ousadia suficiente para explorar dados dessa magnitude.
E o que causou esse crescimento absurdo?
Primeiro, a proliferação de dados. Vários fatores contribuíram, mas talvez o maior tenha sido o surgimento da internet das coisas (IoT). De repente, todos os nossos dispositivos da IoT — dispositivos conectados à internet por meio de Wi-Fi ou de outras redes, como Bluetooth ou celular — estavam gerando dados. Dos nossos smartphones às nossas geladeiras inteligentes, esses dispositivos produziam dados sobre tudo, dos nossos hábitos de exercício físico à quantidade de leite desnatado que tínhamos nas prateleiras. Era compreensível que as organizações estivessem mais interessadas do que nunca na coleta e utilização de mais dados sobre produtos, pessoas e transações.
Com o contínuo crescimento da geração de dados, nós precisávamos descobrir onde colocar tudo isso. Andrew Brust, CEO e fundador da Blue Badge Insights, explica: "Com tecnologias como o Hadoop a princípio e depois o armazenamento de objetos na nuvem, o que era um recurso escasso (dados) se tornou uma mercadoria, e a tendência no setor analítico mudou de 'Quais coisas valem a pena analisar?' para 'Por que não salvar e explorar esses dados?'".
"O que era um recurso escasso (dados) se tornou uma mercadoria, e a tendência no setor analítico mudou de 'Quais coisas valem a pena analisar?' para 'Por que não salvar e explorar esses dados?'."
— Andrew Brust, CEO e fundador da Blue Badge Insights
Embora os hardwares e os servidores locais oferecessem segurança, o armazenamento de dados no local podia ser caro e difícil de escalar. A nuvem oferecia uma solução mais barata, em que o armazenamento podia ser monitorado por terceiros. Em seguida, o armazenamento de objetos na nuvem tornou o armazenamento de Big Dada ainda mais viável, já que os dados eram armazenados como objetos em vez de arquivos ou blocos.
A produção maciça de dados foi então combinada com o armazenamento aparentemente infinito. A era do Big Data tinha começado oficialmente.
Os altos executivos levam suas empresas para um caminho sem volta
O desafio final era convencer os altos executivos de que os dados e a análise valiam o investimento. Para muitas organizações os dados eram apenas uma recordação, algo que deveria ser coletado, mas que o uso prático ainda precisava ser comprovado. Mesmo que as empresas pudessem obter as informações específicas de que precisavam, no formato necessário, seria possível analisá-las de maneira eficiente e rápida, afetando a tomada de decisões de maneira positiva?
Para muitas organizações, os dados eram apenas uma recordação, algo que deveria ser coletado, mas cujo uso prático ainda precisava ser comprovado.
Os líderes executivos empenhados na expansão de suas empresas sempre agem no momento em que é necessário, mesmo que isso não seja fácil. Nos anos 1980, a função do diretor financeiro (CFO) ganhou destaque devido às iniciativas da liderança para administrar melhor seus ativos e investimentos. De maneira semelhante, o diretor de marketing (CMO) se tornou um executivo fundamental graças à complexidade crescente dos canais de marketing. Conforme os resultados do crescimento digital se tornaram óbvios, os altos executivos recorreram ao diretor de dados (CDO) para promover esse novo domínio: os dados e a análise.
Embora os altos executivos entendessem o valor da análise, defender essa nova função ainda era um desafio. Estabelecer equipes de cientistas e analistas de dados era uma tarefa cara e complicada. Encontrar os talentos certos era como encontrar ouro em uma mina. Era como se uma peça fundamental ainda estivesse faltando.
Foi nesse momento que a década cruzou um ponto sem retorno. O destino: a democratização dos dados.
Analistas capacitados ocupam o assento do motorista
Foi no início da década que os softwares de dados e análises começaram a progredir de verdade. Do preparo e combinação ao BI e às tecnologias de visualização. Foi nessa época também que uma empresa chamada SRC se tornou a Alteryx. Essas conhecidas tecnologias de software representavam soluções para processos analíticos cada vez mais complexos.
Ashley Kramer, vice-presidente sênior de gerenciamento de produtos da Alteryx, lembra: "Costumávamos ter um produto ou uma ferramenta separada para ETL corporativo, preparo de dados, geração de relatórios, catálogo de dados, visualização e modelagem. Hoje, tudo isso está convergindo em plataformas únicas".
A confusão e inconveniência dos processos analíticos e das ferramentas preexistentes, despreparados para o Big Data, tornaram a análise de dados uma dor de cabeça. O surgimento das plataformas self-service foi a salvação. A complexidade foi eliminada, o software passou a cuidar da programação e do back-end e a análise se tornou um processo de arrastar e soltar. Os obstáculos para iniciar uma carreira como profissional de dados, assim como o custo de estabelecer uma equipe passaram a ser praticamente zero, especialmente quando se considerou o rápido e surpreendente retorno do investimento.
Paige Bartley, analista sênior da 451 Research, explica: "As portas para os dados e o self-service analytics foram abertas nas empresas. O uso dos dados, que antes era domínio apenas dos mais preparados tecnicamente, foi democratizado de uma forma que permitiu com que pessoas menos experientes pudessem obter insights significativos, que no passado eram frequentemente isolados e podiam ser acessados apenas por algumas pessoas selecionadas".
"As portas para os dados e o self-service analytics foram abertas nas empresas."
— Paige Bartley, analista sênior da 451 Research
O custo e o conhecimento técnico não representavam mais barreiras para a análise de dados. Com o self-service analytics, o TI se tornou um parceiro de verdade. Os analistas puderam obter suas próprias informações e iniciar projetos mais rapidamente, deixando a equipe de TI livre das constantes solicitações específicas.
"A equipe de TI deixou de ser o fornecedor de análises, dados e relatórios, tornando-se facilitador na empresa", conta Chris Love, gerente de conta da The Information Lab. "Isso permitiu que os analistas e os usuários de linha de negócios realizassem seu próprio preparo e visualização de dados". Com custos mais baixos e um processo mais rápido, os altos executivos foram conquistados. A transformação digital liderada por dados e análises começou a ganhar espaço nas organizações.
A liberação dos profissionais de dados foi completa, graças às plataformas simplificadas de self-service. Sem dúvida, a criação do self-service foi o evento que definiu a última década dos dados e das análises.
Os anos 2010: a democratização dos dados
"Simplificando, a maior mudança da última década foi a democratização do analytics."
— Mark Frisch, CEO da Marquee Crew
"Houve um balanceamento por conta da acessibilidade das ferramentas e plataformas analíticas, permitindo que as pessoas utilizem suas experiências não técnicas, juntamente com os incríveis avanços tecnológicos da última década, tornando os negócios e as comunidades muito mais poderosos."
— Nicole Johnson, consultora sênior de soluções de negócios da T-Mobile
"Os dados ficavam escondidos da equipe centralizada e tradicional de BI, com poucas pessoas que sabiam como acessá-los e usá-los. Hoje em dia, são um ativo essencial, popular e democratizado, fácil de aproveitar."
— Heather Harris, diretora de prática, inteligência e análise da ProKarma
"Graças às ferramentas self-service evoluídas, testadas e constantemente aprimoradas que estão disponíveis atualmente, estamos em uma época de ouro para a democratização dos dados."
— Nick Haylund, diretor da Tessellation EMEA
"A democratização do BI e da análise de dados é a maior mudança da última década de que me lembro. A disponibilidade para os usuários finais é um fator fundamental."
— AJ Guisande, diretor da Decision Science
Um resumo da década
Ao final da década, o valor analítico atingiu seu pico. Segundo a IDC, hoje há 54 milhões de profissionais de dados em todo o mundo, e a receita de soluções de big data e análises atingiu quase US$ 200 bilhões.
Os dados eram unanimemente valiosos e as pessoas que conseguiam entendê-los avançaram em suas carreiras e se tornaram destaques na entrega de insights de negócios. Porém, tudo isso estava apenas preparando o terreno para a década que estava por vir.
O futuro analítico
Estamos em janeiro de 2020. Muita coisa mudou em dez anos. A economia dos EUA está vivendo sua tendência de crescimento mais longa desde 1854, e as notícias sobre tecnologia dizem que o iMac Pro, da Apple, acabou de chegar às lojas. De maneira muito parecida com dez anos atrás, você está se perguntando quem gastaria US$ 52.400 em um computador desktop com rodas quando o iPhone 11 Pro atende muito bem às suas necessidades.
Ao longo da última década, você testemunhou uma mudança extraordinária na importância dos dados e surfou na onda da análise self-service. Agora, você alcançou seu objetivo, suas habilidades de self-service são seu trono, e seus insights transformadores são sua coroa. A única coisa que poderia tornar seu mundo ainda melhor seria antecipar o que está por vir.
Para obter uma visão do futuro dos dados e do analytics, recorremos às nossas fontes mais confiáveis, ou seja, especialistas consagrados em análises, incluindo analistas do setor, executivos da Alteryx e nossos clientes inovadores. Veja a seguir as quatro principais previsões deles.
1. Formação em dados no centro de tudo
DOS EXECUTIVOS DE BIG DATA E INTELIGÊNCIA ARTIFICIAL AINDA NÃO TRATAM OS DADOS COMO UM ATIVO DE NEGÓCIO.
— Big Data and AI Executive Survey, NewVantage Partners
Depois que o mundo do BI foi cativado pela análise self-service, as organizações esperavam resultados comerciais imediatos ou pelo menos aparentes. Segundo Andrew Brust: "A batalha terminou e o processo inicial foi concluído. Agora que os altos executivos foram conquistados, a pressão está na performance e na apresentação de resultados".
Nick Haylund, diretor da Tessellation EMEA, explica: "Se a tecnologia está ficando mais fácil de usar, por que as empresas não estão obtendo o ROI que esperavam? Embora ter e implantar as melhores tecnologias de dados e analytics seja sempre importante, frequentemente muitos departamentos e empresas negligenciam o investimento de tempo em pessoas e processos".
"Embora ter e implantar as melhores tecnologias de dados e analytics seja sempre importante, frequentemente muitos departamentos e empresas negligenciam o investimento de tempo em pessoas e processos."
— Nick Haylund, diretor da Tessellation EMEA
Aperfeiçoar uma pilha de tecnologias sempre virá depois de empoderar as mentes por trás delas. Embora não seja um segredo, é muito simplista pensar que o valor dos dados é obtido apenas com a aplicação da inteligência humana. Até que analistas e cientistas de dados se tornem porta-vozes deles, os dados continuarão sendo uma coleção de fatos e observações inócuas.
Embora não seja um segredo, é muito simplista pensar que o valor dos dados é obtido apenas com a aplicação da inteligência humana.
O verdadeiro poder das plataformas self-service não é apenas o fato de reduzirem os obstáculos para quem pretende se tornar um analista ou citizen data scientist, mas também que elas empoderem profissionais de diversas áreas para que possam aperfeiçoar seu trabalho com insights. Do RH ao financeiro, a maior força da tecnologia self-service está na criação de uma cultura de dados.
Paige Bartley, da 451 Research afirma: "Funcionários com histórias extremamente diversas podem agora incluir suas perspectivas pessoais na interpretação dos dados, o que tende a resultar em uma compreensão muito mais abrangente do desempenho e do potencial dos negócios".
Os dados e análises alcançaram as massas. Na próxima década, as empresas com funcionários mais envolvidos com dados estarão na dianteira. Alan Jacobson, diretor de dados e analytics da Alteryx, explica: "Com um rápido crescimento das empresas em 2020, um novo foco sobre a educação para melhorar a transformação nas organizações ganhará força, com um diretor de desenvolvimento ou algo similar conduzindo o processo. As empresas com conhecimento digital vencem a concorrência não digital, e, em 2020, isso será reforçado, já que ainda mais empresas explorarão seus ativos digitais para resolver problemas de negócio".
Ashley Kramer acrescenta: "Haverá um incentivo para que a gerência executiva promova a data science e a análise de dados self-service em toda a empresa. Os líderes devem se empenhar com convicção para ir além da abordagem analítica antiquada, provocando uma mudança cultural dentro da organização".
De modo semelhante à adoção analítica para a empresa pela liderança, as iniciativas de educação de dados virão de cima para baixo e para que sejam eficazes, deverão ser democratizadas em toda a empresa.
Andy Uttley, gerente de consultoria do Javelin Group, explica: "O domínio dos dados não é mais uma habilidade exigida por poucos, é um requisito para a maioria. A capacidade de entendimento e utilização de dados em todos os níveis é fundamental para que as empresas consigam ser bem-sucedidas".
Contudo, há uma advertência. Uttley explica que a democratização dos dados e o surgimento do self-service apresentam novos desafios, já que "colocar as informações nas mãos de todos os interessados pode aumentar o risco: de governança de dados, de modelos extremamente complexos ou 'incorretos' devido a profissionais não qualificados ou de erros incorporados nas fontes utilizadas em toda a empresa por falta de treinamento ou habilidades".
Com a possibilidade de os profissionais de negócio "comuns" utilizarem dados, há também o risco de usá-los incorretamente, de modo inadequado ou até antiético. À medida que os dados se tornam mais difundidos, serão estabelecidas diretrizes para as organizações e para a proteção dos consumidores. O domínio dos dados deve ser uma prioridade na pauta dos altos executivos por dois motivos: a transformação e a governança dos negócios.
O domínio dos dados deve ser uma prioridade na pauta dos altos executivos por dois motivos: a transformação e a governança dos negócios.
Paige Bartley acrescenta: "A ética do uso apropriado dos dados se tornará um marco social. Muitos dizem que 'os dados são o novo petróleo', e essa metáfora vai além do valor monetário superficial do recurso em questão. Da mesma forma que a conscientização e o ativismo ambiental foram uma resposta à exploração de recursos naturais que ocorreu com a revolução industrial, o ativismo ético relacionado aos dados e à privacidade será uma resposta à exploração de recursos de informações pessoais que está ocorrendo no momento com a revolução digital".
2. O surgimento dos nativos de dados
Juntamente com o domínio e a fluência dos dados, surgirá uma nova geração de pessoas que cresceram em meio a eles, também chamadas de "nativos de dados". Muito parecidos com os nativos digitais, que cresceram em meio aos smartphones e à tecnologia digital, os nativos de dados não saberão que houve um tempo antes do Fitbit, do termostato Nest e do Propeller.
"As gerações mais novas, que são adaptáveis e aprendem rapidamente, terão destaque à medida que novas habilidades e demandas analíticas surjam", afirma Andy Uttley. "Acredito que veremos uma mudança vindo da base e vamos esperar ou até mesmo exigir mudanças nos sistemas educacionais para ajudar a preparar melhor as crianças para o mundo em que elas entrarão. Isso deverá incluir mais resolução de problemas e, claro, habilidades obrigatórias em linguagens como o Python!"
As novas gerações continuarão sendo integradas em um mundo de dados e análises. Segundo Ashley Kramer, vice-presidente sênior de soluções de produtos: "Surgiram novas empresas que focam unicamente no domínio dos dados e estamos vendo a análise se tornar mais importante nas universidades do mundo inteiro". Um exemplo é a Arizona State University, com a qual a Alteryx uniu forças para possibilitar iniciativas de cidades inteligentes na área metropolitana de Phoenix.
Mas quais serão as mudanças para nós, que não somos nativos e que aprendemos a usar os dados da maneira antiga e complicada? No início da última década os dados eram como uma lembrança, algo que devia ser coletado. Nesta década, os dados se tornarão uma linguagem própria. O analytics se tornará uma linguagem básica, integrada à linguagem dos negócios.
3. Prevendo a análise preditiva
Se na última década nós dominamos o preparo e a combinação de dados, na próxima vamos dominar a análise preditiva e prescritiva, com a ajuda da inteligência artificial (IA) e do machine learning (ML).
Os dados de pesquisa da nossa Comunidade confirmam o aumento do interesse em análise preditiva e machine learning:
Como diz Jarrod Thuener, diretor de análise de dados da Kristalytics: "Correndo o risco de usar outro jargão, estamos entrando na era do machine learning. Ou seja, estamos realmente usando os dados que coletamos. É fundamental ser capaz de agir com base nos dados e análises. Em breve, teremos sistemas de automonitoramento nos quais um ciclo de feedback contínuo direcionará as decisões posteriores".
Não imagine um 2025 distópico em que as máquinas tomaram o controle dos humanos. Dean Stoecker acredita que todos nós devemos acreditar um pouco mais em nós mesmos: "Se você acha que a inteligência artificial vai governar, pense melhor. Se amplificarmos a inteligência humana, a singularidade nunca ocorrerá! Jamais subestime a humanidade".
Apesar dos dados alimentarem os modelos de machine learning, ainda haverá seres humanos que direcionarão a seleção desses dados e suas aplicações de uso. A inteligência artificial — ou a "estupidez artificial", como às vezes podemos pensar quando a Alexa, o Google Home ou a Siri não entendem o que queremos, mesmo que o pedido seja extremamente óbvio — tem o mesmo nível de inteligência das pessoas que estão por trás dela. Não dá para substituir a arte pela matemática, a música por código ou a conexão humana por um algoritmo. A IA e o ML são uma ampliação, e não uma substituição, explica Jacobson.
"A IA e o ML são uma ampliação dos humanos, não uma substituição."
— Alan Jacobson, diretor de dados e analytics da Alteryx
O que acontecerá, continua Jacobson, é que mudaremos do foco das linguagens e da programação por trás do ML, da IA e da análise preditiva para a democratização dessas tecnologias, como acabamos de fazer na última década ao democratizar o acesso aos dados. "A partir de 2019, as tecnologias de modelagem e processamento de linguagem passam a ser robustas, mas não acessíveis. Quando todos, de analistas de negócios a cientistas de dados, tiverem acessibilidade total, as melhorias reais vão avançar rapidamente".
Assim como o domínio de dados apresenta novos desafios de governança, o mesmo ocorre com o aumento do analytics avançado acessível. Paige Bartley, analista sênior da 451 Research, acrescenta: "Talvez de maneira paradoxal, precisamos usar a data science e a análise de dados para entender melhor os efeitos da automação e de sistemas algorítmicos na interação e no comportamento humano no mundo. Hoje, quase todos os aspectos do comportamento humano podem ser quantificados e usados para a obtenção de insights. Por esse motivo, precisamos entender melhor as possíveis ramificações do uso sistemático da tecnologia antes que possamos usá-la para avançar como sociedade".
Stoecker está seguro de que até problemas complexos como esses, podem ser resolvidos com a mágica dos dados + inteligência humana. "Se podemos resolver um problema usando dados relevantes, podemos resolver todos os problemas com eles", afirma ele. "O único fator determinante para a resolução dos desafios, será a amplificação da inteligência humana para sabermos quais perguntas fazer".
4. Análise de dados para sempre
Para concluir essa projeção para a próxima década, perguntamos às pessoas da nossa comunidade quais problemas mundiais urgentes elas gostariam de resolver com dados e analytics. Estas foram algumas das respostas:
"Eu gostaria de trabalhar em iniciativas para promover a paz mundial. Eliminar as armas de fogo e colocar a juventude no analytics. Faça modelos, não faça guerra".
— Mark Frisch, CEO da Marquee Crew
"Remediação às mudanças climáticas, análise e otimização da educação pública, redução da falta de moradia e rompimento do isolamento social".
— Heather Harris, diretora de prática, inteligência e análise da ProKarma
"Análise de meninas a partir de 11 anos de idade: quais estatísticas ou caminhos durante a vida as levam a ter destaque como mulheres no setor da tecnologia, não importa a função. Além disso, uma análise da relação entre a natureza e a criação, mas do ponto de vista tecnológico."
— Sharmila Mulligan, diretora de estratégia da Alteryx
"Educação. Ainda temos o problema de uma proporção muito grande do mundo ser pouco qualificada — e quanto mais pudermos usar a tecnologia para entender e possibilitar o aprendizado, melhor será para todos nós, pois um planeta mais instruído é economicamente estável e toma melhores decisões."
— Sean Adams, vice-presidente sênior e diretor executivo em um banco multinacional de investimentos
"Os cenários médicos são uma ótima aplicação da data science e do analytics. Elevar as metas e aplicá-las no contexto das mudanças climáticas e dos assuntos internacionais é um objetivo pelo qual devemos lutar, mesmo sendo audacioso. Também precisamos considerar a ética. Caso contrário, ocorrerá o oposto: a IA será aplicada para a guerra, e não para a paz e o engajamento construtivo."
— Andrew Brust, CEO e fundador da Blue Badge Insights
"A distribuição da pobreza ao redor do mundo".
— AJ Guisande, diretor da Decision Science
"Se eu tivesse que escolher apenas um problema para resolver, seria o câncer infantil."
— Michael Barone, cientista de dados da Paychex
"O setor de saúde e o uso do machine learning para ajudar a melhorar os benefícios para a saúde, como pesquisas de câncer e alertas preditivos de cuidados de saúde".
— Adrian Loong, gerente de data science da Datacom
"A desigualdade na sociedade e o uso do analytics para aumentar a mobilidade social".
— Joseph Serpis, consultor da Keyrus
Rumo a 2030 e além
O self-service analytics revolucionou a última década e está pronto para fazer o mesmo na próxima, mas com razões totalmente diferentes. Será que as coisas vão acontecer conforme previmos? Teremos que esperar para ver. A menos que você já tenha usado a análise de dados para criar uma máquina do tempo. Isso seria incrível!
FIQUE AQUI.
LEIA
"Uma Década de Inspiração" destaca momentos decisivos da Comunidade Alteryx na última década.
OUÇA
Coloque seus fones de ouvido e escute Libby Duane Adams, cofundadora e CCO da Alteryx, e dois funcionários de longa data compartilharem reflexões sobre tudo, desde o primeiro escritório da Alteryx até o futuro da análise de dados em "Alteryx-ing the Decade" no canal de podcast Alter Everything.
COMPARTILHE
Converse conosco no @alteryx sobre seus momentos mais memoráveis na última década de analytics.