Introducción

Te despiertas. Miras tu lista de tareas pendientes y hay una tarea de un miembro del equipo. Quieren que usted haga algún tipo de análisis y produzca un informe. La solicitud en sí es relativamente compleja, lo que significa que es posible que tengas que desglosarla utilizando un enunciado del problema, extraer datos de una fuente de datos, explorarlos, recopilar tus conocimientos y luego contar una historia de tus hallazgos al miembro del equipo.

Así es como se podría resolver este problema:

• Crear un planteamiento del problema en una plataforma de seguimiento de tareas (por ejemplo, Trello, Jira)
• Extraiga datos de una fuente de datos (por ejemplo, base de datos SQL, utilizando una interfaz como SSMS, Power Query)
• Realizar análisis exploratorios de datos y transformaciones complejas en una herramienta analítica (Python, R, Excel)
• Identificar ideas y luego presentarlas de manera digerible a los muggles (un powerpoint, o si eres picante, una herramienta de visualización como Tableau o Power BI)

Suena como un día normal en la vida de un profesional de datos, ¿verdad? Sin embargo, no sé ustedes, pero mover datos a través de tantas herramientas puede resultar bastante desorientador. Esto genera un flujo de trabajo muy ineficiente. Pero ¿y si te dijera que hay una manera mejor? ¿Que podría preparar el planteamiento de su problema, escribir su consulta SQL, realizar su análisis Y presentar sus hallazgos, todo en un solo lugar? Si trabaja con datos y Python, probablemente ya esté familiarizado con Jupyter Notebook como una excelente herramienta para análisis ad hoc. El entorno interactivo del Notebook permite el análisis secuencial y la narración de historias. Pero la belleza del Notebook no termina sólo en su unión con IPython. Jupyter Notebook se construye esencialmente usando HTML, CSS y JS; lo que significa que podemos usar esas tecnologías para ampliar las capacidades del Notebook. En este artículo, le mostraré cómo podemos aprovechar la interfaz web de Jupyter Notebook y las ricas bibliotecas de datos de Python para crear una solución de informes de un extremo a otro.

Para seguir adelante, necesitará instalar el siguiente software y/o paquetes en su sistema:

SQL Server: Este es el dialecto SQL con el que vamos a interactuar para nuestra extracción de datos
Base de datos de Aventure Works: Esta es la colección de bases de datos desde la que consultaremos nuestros datos. La base de datos AW generalmente viene con la instalación de SQL Server de forma predeterminada. Pero si no es así, haga clic en el enlace y siga las instrucciones sobre cómo cargarlo en su instalación de SQL Server.
Python y Jupyter: La forma más sencilla de instalar Python y Jupyter al mismo tiempo es mediante la distribución anaconda. Si ya tienes Python pero solo quieres instalar Jupyter, usa este enlace.
Bibliotecas de Python:

• pyodbc
• pandas
• sqlalquimia
• trama
• mlxtend
• redx

Ahora que hemos eliminado eso, profundicemos en nuestro Jupyter Notebook. Puede encontrarlo incrustado a continuación:

NB: La inserción anterior proviene de un repositorio de github, que puedes clonar aquí. Sin embargo, debido a que está alojado en github, toda la interactividad JS está deshabilitada, por lo que el "Botón de alternancia" no se representará. Sin embargo, si clona el repositorio en su máquina y ejecuta la computadora portátil localmente, verá que el botón se verá así:

Y al hacer clic en el "Botón de alternancia", las celdas de entrada se ocultan y queda algo como esto:

Y eso es todo. En resumen, esto es lo que pudimos hacer en un solo entorno (el Notebook):

• definir un planteamiento del problema y ampliar los objetivos
• conectarse y consultar datos directamente desde una base de datos SQL
• realizar nuestro análisis
• trazar visualizaciones
• formatea nuestras secciones, diseños y resultados usando Markdown para contar una historia y hacer que nuestro informe sea legible para una audiencia no técnica
• proporcionar funcionalidad que oculta nuestras aportaciones técnicas, dejando solo nuestra historia y conocimientos

Un flujo de trabajo de análisis completo de un extremo a otro, todo dentro de un solo entorno. El siguiente paso sería construir un marco, una tecnología y/o un canal que nos permita compartir nuestros informes con las partes interesadas de manera transparente. Si este artículo recibe suficiente atención, lo escribiré a continuación. ?