Desde que los LLM aparecieron en escena, uno de los primeros casos de uso/demostración fue el análisis de datos. En esta etapa, la mayoría de nosotros hemos usado ChatGPT, Claude o alguna otra IA para generar un gráfico, pero parece que aún no se sabe cuál será el papel que desempeñará la IA en la visualización de datos. ¿Seguiremos utilizando de forma predeterminada los gráficos de apuntar y hacer clic? ¿La IA generará el 100% de los gráficos? ¿O el futuro es híbrido, mezclando algo de generación de IA y algo de apuntar y hacer clic?

Como fundador en el espacio de visualización de datos e inteligencia artificial, encuentro este tema casi existencial. Fundados después de 2022 (es decir, después de que los LLM aparezcan en escena de manera real), tenemos que tomar una decisión sobre cómo queremos manejar los gráficos. ¿Invertimos horas y horas de trabajo de desarrollo (y fondos) para desarrollar la funcionalidad de gráficos, o eso desaparecerá y generará un costo irrecuperable para todas las herramientas creadas antes de los LLM? ¿O el futuro es híbrido? Recientemente me encontré con Data Formulator, un proyecto de investigación que explora algunas interacciones realmente interesantes entre la IA y los gráficos tradicionales, lo que revivió esta pregunta para mí.

En esta publicación, voy a echar un vistazo a dónde nos encontramos hoy en cuanto a texto a gráfico (o texto a visualización) y hacia dónde nos dirigimos en el futuro.

El estado actual de la conversión de texto a visualización

Como todo lo relacionado con la IA, es probable que esta publicación no envejezca muy bien. En los próximos 6 meses aparecerá algún nuevo dato o modelo que cambiará por completo nuestra forma de pensar sobre este tema. No obstante, echemos un vistazo a los distintos estados de la visualización de datos y la IA.

Gráficos puros de apuntar y hacer clic

No me detendré mucho en esto ya que la mayoría de los lectores lo conocen bien. Abra Excel, Google Sheets o cualquier otra herramienta de datos creada antes de 2023 y tendrá alguna forma de esto. A veces haces clic para agregar datos a un eje, a veces arrastras y sueltas un campo, pero el concepto es el mismo: estructura los datos adecuadamente y luego presionas algunos botones para generar un gráfico.

En este paradigma, la gran mayoría de la limpieza y transformación de datos ocurre antes de la elaboración de gráficos. Generalmente puedes aplicar métricas de agregación como promedio, mediana, recuento, mínimo, máximo, etc., pero todas las transformaciones son bastante rudimentarias.

Gráficos 100% generados por IA

Los gráficos generados por IA, o conversión de texto a visualización, solo han existido realmente desde la llegada de los LLM modernos (si investigamos, se estaban realizando experimentos antes, pero para todos los propósitos prácticos podemos centrarnos en el período posterior a 2022). LLM).

ChatGPT de OpenAI puede generar gráficos no interactivos usando Python, o un conjunto limitado de gráficos interactivos usando bibliotecas de interfaz (consulte OpenAI Canvas para ver algunos ejemplos). Como ocurre con todo lo relacionado con OpenAI, Anthropic tiene sus propios conceptos análogos y artefactos.

Vale la pena señalar aquí que los gráficos generados por IA se pueden subdividir en dos familias: gráficos puramente pitónicos/generados en el back-end o una combinación de back-end y front-end.

ChatGPT y Claude alternan entre los dos. Entrenar una IA para generar código de interfaz de usuario e integrar ese código de interfaz de usuario para crear visualizaciones puede suponer mucho más trabajo que simplemente confiar en Python, utilizando una biblioteca como plotly, matplotlib, seaborn. Por otro lado, las bibliotecas de interfaz brindan a los proveedores y usuarios más control sobre la apariencia del gráfico y la interactividad. Es por eso que los proveedores de LLM hacen que su IA genere gráficos básicos como gráficos de barras, gráficos de líneas o diagramas de dispersión, pero cualquier cosa más sofisticada como un diagrama de Sankey o un gráfico en cascada recurre a Python.

Una breve barra lateral sobre Fabi.ai: dado que somos una plataforma de análisis de datos, obviamente ofrecemos gráficos y, a pesar de algunos gráficos de apuntar y hacer clic, la gran mayoría de los gráficos creados por nuestros usuarios están generados por IA. Hasta ahora, hemos descubierto que la IA es notablemente buena para generar gráficos y, al aprovechar Python puro para los gráficos, hemos podido entrenar a la IA para generar casi cualquier gráfico que el usuario pueda imaginar. Hasta ahora, hemos elegido esa precisión y flexibilidad en lugar de la funcionalidad de apuntar y hacer clic y los diseños de interfaz de usuario personalizados.
Híbrido: generación de IA en un paradigma de apuntar y hacer clic
Aquí es donde las cosas empiezan a ponerse interesantes en el debate sobre hacia dónde se dirige la conversión de texto a visualización por IA. Dentro de 3 años, cuando alguien esté haciendo un análisis, si usa IA, ¿dejará que la IA tome el 100% del control o se usará la IA en un entorno mixto donde solo podrá editar los gráficos dentro de los límites de cierta funcionalidad de apuntar y hacer clic.

Para ayudar a que esta imagen sea más concreta, consulte el Formulador de datos. Este es un proyecto de investigación reciente que intenta ofrecer un verdadero entorno mixto donde la IA puede realizar ciertas ediciones, pero el usuario puede tomar el control y utilizar la funcionalidad de apuntar y hacer clic según sea necesario.

Si hacemos la pregunta usando una analogía con el automóvil: ¿Cree usted que en el futuro los automóviles no tendrán volante, o cree que habrá un conductor que tendrá que sentarse allí y prestar atención y ocasionalmente tomar terminado, ¿de forma similar a cómo funciona actualmente la funcionalidad de conducción autónoma de Tesla?

Primeros principios: lo que creo que es verdad

La pregunta de hacia dónde se dirigen las cosas es realmente importante para nosotros en Fabi.ai, ya que esto podría influir en gran medida en ciertas decisiones que tomemos: ¿Invertimos en integrar una biblioteca de gráficos en el front-end? ¿Nos molestamos siquiera en la funcionalidad de apuntar y hacer clic? Como empresa innovadora y en crecimiento líder en el espacio del análisis de datos de IA, debemos pensar hacia dónde va el disco, no dónde está actualmente.

Así que, para responder a esta pregunta, utilizaré el pensamiento del primer principio.

La IA es cada vez mejor, más rápida y más barata

Desde la primera vez que utilicé la IA y surgieron quejas sobre la velocidad y el costo, creí que la IA seguiría mejorando, siendo más rápida y más barata. En términos generales, el costo por token ha caído un 87% anual en los últimos años. No sólo ha bajado el coste, sino que la precisión y la velocidad también han aumentado drásticamente.

En los próximos 10 años, recordaremos los LLM de 2024 de la misma manera que recordamos las “supercomputadoras” de los años 80 y 90 ahora que todos tenemos supercomputadoras en nuestros bolsillos dondequiera que vayamos.

Todo esto para decir que cualquier argumento a favor o en contra de cualquiera de los diversos enfoques de gráficos mencionados anteriormente no puede ser que la IA sea demasiado lenta, costosa o inexacta para generar gráficos. En otras palabras, para creer que los gráficos de apuntar y hacer clic seguirán existiendo de cualquier manera, hay que creer que hay algo en la experiencia del usuario o el caso de uso que amerita esa funcionalidad.

La parte difícil de la visualización de datos es la discusión y limpieza de los datos.

En mi experiencia, al realizar cualquier tipo de análisis de datos que implique visualización, la parte difícil no son los gráficos. La parte difícil es limpiar los datos y prepararlos en el formato correcto para el gráfico que estoy intentando crear.

Digamos que algunos datos de eventos de usuario tienen los siguientes campos:

• ID de evento
• Marca de tiempo de inicio del evento
• Marca de tiempo de finalización del evento

Ahora digamos que quiero trazar la duración promedio del evento por hora para medir la latencia. Antes de poder realizar cualquier tipo de gráfico en una hoja de cálculo o herramienta de gráficos heredada, debo:

1. Calcular la hora de finalización menos la hora de inicio (probablemente tenga que hacer algún tipo de formato primero)
2. Gira los datos por horas, lo cual en realidad es sorprendentemente difícil de hacer

Pero al pedirle a la IA que haga esto, se encarga de todo eso y de los gráficos en solo uno o dos segundos:

# Calculate the event duration in hours
df['Event duration (hours)'] = (df['Event end datetime'] - df['Event start datetime']).dt.total_seconds() / 3600

# Extract the start hour from the start datetime
df['Start hour'] = df['Event start datetime'].dt.hour

# Group by start hour and calculate the average duration
average_duration_by_hour = df.groupby('Start hour')['Event duration (hours)'].mean().reset_index()

# Plot using Plotly
fig = px.bar(
    average_duration_by_hour, 
    x='Start hour', 
    y='Event duration (hours)',
    title='Average Event Duration by Hour',
    labels={'Event duration (hours)': 'Average Duration (hours)', 'Start hour': 'Hour of Day'},
    text='Event duration (hours)'
)

# Show the figure
fig.show()

Y este fue uno de los ejemplos más simples posibles. La mayoría de las veces, los datos del mundo real son mucho más complicados.

El futuro de la conversión de texto a visualización con IA: algo de apuntar y hacer clic con un 100 % de IA generada

En este punto, es probable que tengas una idea de hacia dónde me inclino. Siempre que pueda obtener su conjunto de datos aproximadamente correcto con todos los datos necesarios para un análisis, la IA ya hace un trabajo notablemente bueno manipulándolo y graficandolo en un abrir y cerrar de ojos. Dentro de uno, dos o tres años, es difícil imaginar que este no será el estándar.

Dicho esto, están surgiendo algunos enfoques híbridos interesantes, como Data Formulator. El argumento a favor de este tipo de enfoque es que tal vez nuestras manos y nuestro cerebro sean capaces de moverse más rápido para realizar ajustes de lo que nos lleva pensar en lo que queremos y explicarlo con suficiente claridad para que la IA haga su trabajo. Si pregunto "Muéstreme las ventas totales por mes durante los últimos 12 meses" asumiendo que debería ser un gráfico de barras apiladas desglosado por región, es posible que nos resulte más fácil simplemente mover el mouse. Si ese es el caso, el enfoque híbrido puede ser el más interesante: pídale a la IA que lo intente primero, luego unos cuantos clics y tendrá lo que desea.

La clave del éxito de un enfoque completo de IA o de un enfoque híbrido estará en la experiencia del usuario. Especialmente para el enfoque híbrido, la IA y las interacciones humanas deben funcionar perfectamente de la mano y ser increíblemente intuitivas para el usuario.

Estoy emocionado de ver cómo se desarrolla el espacio y hacia dónde nos dirigimos con la conversión de texto a visualización en los próximos 12 meses.