Введение

Вы просыпаетесь. Вы смотрите на свой список дел, а там задание от члена команды. Они хотят, чтобы вы провели какой-то анализ и подготовили отчет. Сам запрос относительно сложен, а это означает, что вам может потребоваться разбить его на части, используя формулировку проблемы, извлечь данные из источника данных, изучить их, собрать свои идеи, а затем рассказать историю своих выводов члену команды.

Вот как можно решить эту проблему:

• Создайте формулировку проблемы на платформе отслеживания задач (например, Trello, Jira)
• Извлечение данных из источника данных (например, базы данных SQL, используя такой интерфейс, как SSMS, Power Query)
• Выполнение исследовательского анализа данных и сложных преобразований в аналитическом инструменте (Python, R, Excel)
• Определите идеи, а затем презентуйте их маглам в удобоваримой форме (PowerPoint или, если вы пикантны, инструмент визуализации, такой как Tableau или Power BI)

Похоже на обычный день из жизни специалиста по обработке данных, не так ли? Однако я не знаю, как вы, но перемещение данных между таким количеством инструментов может сильно дезориентировать. Это делает рабочий процесс очень неэффективным. Но что, если я скажу вам, что есть лучший способ? Что вы могли бы подготовить формулировку задачи, написать SQL-запрос, выполнить анализ И представить результаты в одном месте? Если вы работаете с данными и Python, вы, вероятно, уже знакомы с Jupyter Notebook как с отличным инструментом для специальной аналитики. Интерактивная среда Notebook позволяет проводить последовательный анализ и повествование. Но красота Notebook не ограничивается только его союзом с IPython. Блокнот Jupyter по существу создан с использованием HTML, CSS и JS; это означает, что мы можем использовать эти технологии для расширения возможностей ноутбука. В этой статье я покажу вам, как мы можем воспользоваться преимуществами веб-интерфейса Jupyter Notebook и богатых библиотек данных Python для создания комплексного решения для создания отчетов.

Для этого вам потребуется установить в вашей системе следующее программное обеспечение и/или пакеты:

SQL Server: это диалект SQL, с которым мы будем взаимодействовать для извлечения данных
База данных Aventure Works: это набор баз данных, из которых мы будем запрашивать данные. База данных AW обычно поставляется с установкой SQL Server по умолчанию. Но если это не так, щелкните ссылку и следуйте инструкциям по загрузке ее в установку SQL Server.
Python и Jupyter: Самый простой способ одновременно установить Python и Jupyter — использовать дистрибутив anaconda. Если у вас уже есть Python, но вы хотите установить только Jupyter, воспользуйтесь этой ссылкой.
Библиотеки Python:

• pyodbc
• панды
• sqlалхимия
• сюжетно
• mlxtend
• сетьx

Теперь, когда мы разобрались с этим, давайте погрузимся прямо в наш блокнот Jupyter. Вы можете найти его ниже:

Примечание: приведенная выше вставка взята из репозитория GitHub, который вы можете клонировать здесь. Однако, поскольку он размещен на GitHub, вся интерактивность JS отключена, поэтому «Кнопка переключения» не будет отображаться. Однако если вы клонируете репозиторий на свой компьютер и запустите блокнот локально, вы увидите, что кнопка будет выглядеть примерно так:

И если нажать кнопку «Переключить», ячейки ввода скроются, и у вас останется что-то вроде этого:

И все. Подводя итог, вот что нам удалось сделать в одной среде (Блокноте):

• определить постановку проблемы и расширить цели
• подключаться и запрашивать данные непосредственно из базы данных SQL
• проведите анализ
• сюжетные визуализации
• отформатируйте наши разделы, макеты и результаты с помощью уценки, чтобы рассказать историю и сделать наш отчет доступным для чтения нетехнической аудиторией
• обеспечивают функциональность, которая скрывает нашу техническую информацию, оставляя только нашу историю и идеи

Полный комплексный рабочий процесс аналитики в одной среде. Следующим шагом будет создание структуры, технологии и/или конвейера, которые позволят нам незаметно делиться нашими отчетами с заинтересованными сторонами. Если эта статья получит достаточно внимания, я напишу об этом дальше. ?