Desde que os LLMs entraram em cena, um dos primeiros casos de uso/demonstração foi a análise de dados. Neste estágio, a maioria de nós usou ChatGPT, Claude ou alguma outra IA para gerar um gráfico, mas parece que o júri ainda não decidiu sobre o papel que a IA desempenhará na visualização de dados. Continuaremos com o padrão de apontar e clicar em gráficos? A IA gerará 100% dos gráficos? Ou o futuro é híbrido, misturando alguma geração de IA e algum apontar e clicar?

Como fundador do espaço de IA e visualização de dados, considero esse tópico quase existencial. Fundado após 2022 (ou seja, depois que os LLMs entraram em cena de forma real), temos que tomar uma decisão sobre como queremos lidar com os gráficos. Investimos horas e horas de trabalho de desenvolvimento (e fundos) para desenvolver funcionalidades de gráficos ou isso está desaparecendo e sendo um custo irrecuperável para todas as ferramentas construídas antes dos LLMs? Ou o futuro é híbrido? Recentemente me deparei com o Data Formulator, um projeto de pesquisa que explora algumas interações realmente interessantes entre IA e gráficos tradicionais que reviveram essa questão para mim.

Nesta postagem, vou dar uma olhada em onde estamos hoje em termos de texto para gráfico (ou texto para visualização) e para onde podemos ir no futuro.

O estado atual da conversão de texto para visualização

Como todas as coisas de IA, esta postagem provavelmente não envelhecerá muito bem. Alguma nova informação ou modelo será lançado nos próximos 6 meses e mudará completamente a forma como pensamos sobre este assunto. No entanto, vamos dar uma olhada nos vários estados de visualização de dados e IA.

Gráficos puros de apontar e clicar

Não vou me demorar muito nisso, já que a maioria dos leitores o conhece bem. Abra o Excel, o Planilhas Google ou qualquer outra ferramenta de dados criada antes de 2023 e você terá alguma forma disso. Às vezes você clica para adicionar dados a um eixo, às vezes arrasta e solta um campo, mas o conceito é o mesmo: você estrutura os dados adequadamente e depois pressiona alguns botões para gerar um gráfico.

Neste paradigma, a grande maioria da limpeza e transformação de dados acontece antes do gráfico. Geralmente, você pode aplicar métricas de agregação como média, mediana, contagem, mínimo, máximo etc., mas todas as transformações são bastante rudimentares.

Gráficos 100% gerados por IA

Gráficos gerados por IA, ou texto para visualização, só existiram realmente desde o advento dos LLMs modernos (se pesquisarmos, havia experimentos acontecendo antes disso, mas para todos os efeitos práticos, podemos nos concentrar no pós-2022 LLM).

O ChatGPT da OpenAI pode gerar gráficos não interativos usando Python ou um conjunto limitado de gráficos interativos usando bibliotecas front-end (consulte OpenAI Canvas para obter alguns exemplos). Tal como acontece com todas as coisas OpenAI, Anthropic tem seus próprios conceitos análogos e possui artefatos.

É importante notar aqui que os gráficos gerados por IA podem ser subdivididos em duas famílias: gráficos puramente Pythonic/gerados por back-end ou uma mistura de back-end e front-end.

ChatGPT e Claude alternam entre os dois. Treinar uma IA para gerar código front-end e integrar esse código front-end para criar visualizações pode ser muito mais trabalhoso do que apenas confiar em Python, usando uma biblioteca como plotly, matplotlib, seaborn. Por outro lado, as bibliotecas front-end oferecem aos provedores e usuários mais controle sobre a aparência do gráfico e a interatividade. É por isso que os provedores de LLM fazem com que sua IA gere gráficos básicos, como gráficos de barras, gráficos de linhas ou gráficos de dispersão, mas qualquer coisa mais sofisticada, como um diagrama de Sankey ou um gráfico em cascata, recorre ao Python.

Uma breve barra lateral sobre Fabi.ai: Visto que somos uma plataforma de análise de dados, obviamente oferecemos gráficos e, apesar de alguns gráficos apontar e clicar, a grande maioria dos gráficos criados por nossos usuários são gerados por IA. Até agora, descobrimos que a IA é notavelmente boa na geração de gráficos e, ao aproveitar o Python puro para gráficos, conseguimos treinar a IA para gerar praticamente qualquer gráfico que o usuário possa imaginar. Até agora, escolhemos essa precisão e flexibilidade em vez da funcionalidade apontar e clicar e designs de UI personalizados.

Híbrido: geração de IA em um paradigma apontar e clicar
É aqui que as coisas começam a ficar interessantes no debate sobre o rumo que a IA de texto para visualização está tomando. Daqui a 3 anos, quando alguém estiver fazendo uma análise, se usar IA, deixará a IA assumir 100% do controle ou a IA será usada em um ambiente misto onde só poderá editar os gráficos dentro dos limites de certas funcionalidades de apontar e clicar.

Para ajudar a tornar esta imagem mais concreta, dê uma olhada no Data Formulator. Este é um projeto de pesquisa recente que tenta oferecer um verdadeiro ambiente misto onde a IA pode fazer certas edições, mas o usuário pode assumir e usar a funcionalidade apontar e clicar conforme necessário.

Se fizermos a pergunta usando uma analogia com o carro: você acredita que no futuro os carros não terão volante, ou você acredita que haverá um motorista que terá que ficar sentado lá e prestar atenção e ocasionalmente levar acabou, semelhante a como funciona atualmente a funcionalidade de direção autônoma do Tesla?

Primeiros princípios: O que acredito ser verdade

A questão de para onde as coisas estão indo é muito importante para nós da Fabi.ai, visto que isso pode influenciar muito certas decisões que tomamos: Investimos na integração de uma biblioteca de gráficos no front-end? Será que nos preocupamos com a funcionalidade apontar e clicar? Como uma empresa inovadora e em crescimento, líder no espaço de análise de dados de IA, precisamos pensar sobre para onde o disco está indo, e não onde está atualmente.

Então, para responder a essa pergunta, vou usar algumas ideias de primeiro princípio.

A IA está cada vez melhor, mais rápida e mais barata

Desde a primeira vez que usei IA e surgiram reclamações sobre velocidade e custo, acreditei que a IA continuaria a ficar melhor, mais rápida e mais barata. Grosso modo, o custo por token caiu 87% ao ano nos últimos anos. Não apenas o custo caiu, mas a precisão e a velocidade também aumentaram drasticamente.

Nos próximos 10 anos, olharemos para os LLMs de 2024 da mesma forma que olhamos para os “supercomputadores” dos anos 80 e 90, agora que todos nós temos supercomputadores em nossos bolsos onde quer que vamos.

Tudo isso para dizer que qualquer argumento a favor ou contra qualquer uma das várias abordagens de gráficos mencionadas acima não pode ser que a IA é muito lenta, cara ou imprecisa para gerar gráficos. Em outras palavras, para acreditar que os gráficos de apontar e clicar ainda existirão de qualquer forma, você precisa acreditar que há algo na experiência do usuário ou no caso de uso que merece essa funcionalidade.

A parte difícil da visualização de dados é a organização e limpeza dos dados

Na minha experiência, ao fazer qualquer forma de análise de dados que envolva visualização, a parte difícil não é o gráfico. A parte difícil é limpar e preparar os dados no formato certo para o gráfico que estou tentando criar.

Digamos alguns dados de eventos do usuário que possuem os seguintes campos:

ID do evento
Carimbo de hora de início do evento
Carimbo de data e hora de término do evento

Agora digamos que eu queira traçar a duração média do evento por hora para medir a latência. Antes de poder fazer qualquer tipo de gráfico em uma planilha ou ferramenta de gráficos herdada, preciso:

Calcule o horário de término menos o horário de início (provavelmente terei que fazer algum tipo de formatação primeiro)
Dividir os dados por hora, o que é surpreendentemente difícil de fazer

Mas pedir à IA para fazer isso, ela cuida de tudo isso e dos gráficos em apenas um ou dois segundos:

# Calcule a duração do evento em horas df['Duração do evento (horas)'] = (df['Event end datetime'] - df['Event start datetime']).dt.total_seconds() / 3600 # Extrai a hora de início da data e hora de início df['Hora de início'] = df['Data de início do evento'].dt.hora # Agrupe por hora de início e calcule a duração média média_duração_por_hora = df.groupby('Hora de início')['Duração do evento (horas)'].mean().reset_index() # Plotar usando Plotly fig = px.bar( média_duração_por_hora, x='Hora de início', y='Duração do evento (horas)', title='Duração média do evento por hora', rótulos={'Duração do evento (horas)': ​​'Duração média (horas)', 'Hora de início': 'Hora do dia'}, text='Duração do evento (horas)' ) #Mostre a figura fig.show()

# Calculate the event duration in hours
df['Event duration (hours)'] = (df['Event end datetime'] - df['Event start datetime']).dt.total_seconds() / 3600

# Extract the start hour from the start datetime
df['Start hour'] = df['Event start datetime'].dt.hour

# Group by start hour and calculate the average duration
average_duration_by_hour = df.groupby('Start hour')['Event duration (hours)'].mean().reset_index()

# Plot using Plotly
fig = px.bar(
    average_duration_by_hour, 
    x='Start hour', 
    y='Event duration (hours)',
    title='Average Event Duration by Hour',
    labels={'Event duration (hours)': 'Average Duration (hours)', 'Start hour': 'Hour of Day'},
    text='Event duration (hours)'
)

# Show the figure
fig.show()

E este foi um dos exemplos mais simples possíveis. Na maioria das vezes, os dados do mundo real são muito mais complicados.

O futuro da IA ​​de texto para visualização: alguns apontam e clicam com 100% de IA gerada

Neste ponto, você provavelmente tem uma noção de onde estou me inclinando. Contanto que você consiga acertar seu conjunto de dados com todos os dados necessários para uma análise, a IA já faz um trabalho extraordinariamente bom em manipulá-lo e mapeá-lo em um piscar de olhos. Daqui a um, dois ou três anos, é difícil imaginar que esse não será o padrão.

Dito isto, existem algumas abordagens híbridas interessantes que estão surgindo, como o Data Formulator. O argumento para este tipo de abordagem é que talvez as nossas mãos e cérebros sejam capazes de se mover mais rapidamente para fazer ajustes rapidamente do que o necessário para pensar sobre o que queremos e explicar isso de forma suficientemente clara para que a IA faça o seu trabalho. Se eu perguntar “Mostre-me o total de vendas por mês nos últimos 12 meses” com a suposição de que este deveria ser um gráfico de barras empilhadas dividido por região, é possível que achemos mais fácil apenas mover o mouse. Se for esse o caso, a abordagem híbrida pode ser a mais interessante: peça à IA para fazer uma primeira tentativa, depois alguns cliques e você terá o que deseja.

A chave para o sucesso de uma abordagem completa de IA ou de uma abordagem híbrida estará na experiência do usuário. Especialmente para a abordagem híbrida, a IA e as interações humanas devem funcionar perfeitamente de mãos dadas e ser incrivelmente intuitivas para o usuário.

Estou animado para ver o desenvolvimento do espaço e para onde iremos com a conversão de texto para visualização nos próximos 12 meses.