Introdução

Você acorda. Você olha sua lista de tarefas e vê uma tarefa de um membro da equipe. Eles querem que você faça algum tipo de análise e produza um relatório. A solicitação em si é relativamente complexa, o que significa que pode ser necessário dividi-la usando uma declaração de problema, extrair dados de uma fonte de dados, explorá-la, reunir seus insights e, em seguida, contar uma história de suas descobertas ao membro da equipe.

Veja como resolver esse problema pode ser:

• Crie uma declaração do problema em uma plataforma de rastreamento de tarefas (por exemplo, Trello, Jira)
• Extraia dados de uma fonte de dados (por exemplo, banco de dados SQL, usando uma interface como SSMS, Power Query)
• Realize análises exploratórias de dados e transformações complexas em uma ferramenta analítica (Python, R, Excel)
• Identifique insights e apresente-os de maneira digerível aos trouxas (um powerpoint ou, se você for picante, uma ferramenta de visualização como Tableau ou Power BI)

Parece um dia normal na vida de um profissional de dados, certo? No entanto, não sei sobre você, mas mover dados entre tantas ferramentas pode ser bastante desorientador. Isso cria um fluxo de trabalho muito ineficiente. Mas e se eu lhe dissesse que existe uma maneira melhor? Que você poderia preparar a declaração do seu problema, escrever sua consulta SQL, realizar sua análise E apresentar suas descobertas em um só lugar? Se você trabalha com dados e Python, provavelmente já conhece o Jupyter Notebook como uma excelente ferramenta para análises ad hoc. O ambiente interativo do Notebook permite análise sequencial e narrativa. Mas a beleza do Notebook não termina apenas no seu casamento com o IPython. O Jupyter Notebook é essencialmente construído usando HTML, CSS e JS; o que significa que podemos usar essas tecnologias para expandir as capacidades do Notebook. Neste artigo, mostrarei como podemos aproveitar as vantagens da interface da web do Jupyter Notebook e das ricas bibliotecas de dados do Python para construir uma solução de relatórios ponta a ponta.

Para acompanhar, você precisará dos seguintes softwares e/ou pacotes instalados em seu sistema:

SQL Server: Este é o dialeto SQL com o qual interagiremos para nossa extração de dados
Aventure Works Database: Esta é a coleção de bancos de dados dos quais consultaremos nossos dados. O banco de dados AW geralmente vem com a instalação do SQL Server por padrão. Mas se isso não acontecer, clique no link e siga as instruções sobre como carregá-lo na instalação do SQL Server.
Python e Jupyter: A maneira mais fácil de instalar Python e Jupyter ao mesmo tempo é usando a distribuição anaconda. Se você já possui Python, mas deseja instalar apenas o Jupyter, use este link.
Bibliotecas Python:

• pyodbc
• pandas
• sqlalquimia
• enredo
• mlxtend
• redex

Agora que já resolvemos isso, vamos mergulhar direto em nosso Jupyter Notebook. Você pode encontrá-lo incorporado abaixo:

NB: A incorporação acima é de um repositório do GitHub, que você pode clonar aqui. Porém, por estar hospedado no github, toda a interatividade do JS fica desabilitada, portanto o "Botão de alternância" não será renderizado. No entanto, se você clonar o repositório em sua máquina e executar o notebook localmente, verá que o botão será parecido com isto:

E ao clicar no "Botão Alternar", as células de entrada ficam ocultas e você fica com algo assim:

E é isso. Em resumo, aqui está o que conseguimos fazer em um ambiente (o Notebook):

• defina uma declaração do problema e expanda os objetivos
• conectar-se e consultar dados diretamente de um banco de dados SQL
• realizar nossa análise
• visualizações de plotagem
• formatar nossas seções, layouts e resultados usando markdown para contar uma história e tornar nosso relatório legível por um público não técnico
• fornecer funcionalidade que oculta nossas informações técnicas, deixando apenas nossa história e insights

Um fluxo de trabalho analítico completo, tudo em um único ambiente. O próximo passo seria construir uma estrutura, tecnologia e/ou pipeline que nos permita compartilhar nossos relatórios com as partes interessadas de maneira transparente. Se este artigo receber atenção suficiente, escreverei sobre isso a seguir. ?