注意:上面的嵌入来自 github 存储库,您可以在此处克隆。但是,因为它托管在 github 上,所以所有 JS 交互性都被禁用,因此“切换按钮”将不会被渲染。但是,如果您将存储库克隆到您的计算机并在本地运行笔记本,您将看到该按钮如下所示:

\\\"Jupyter

通过单击“切换按钮”,输入单元格将被隐藏,您将看到如下内容:

\\\"Jupyter

就是这样。总之,以下是我们能够在一个环境(笔记本)中完成的所有操作:

完整的端到端分析工作流程,全部在一个环境中。下一步将是构建一个框架、技术和/或管道,使我们能够与利益相关者无缝地分享我们的报告。如果这篇文章得到足够的关注,我会在下一篇写这篇文章。 ?

","image":"http://www.luping.net/uploads/20240826/172465956766cc376f39a45.jpg","datePublished":"2024-08-26T16:06:07+08:00","dateModified":"2024-08-26T16:06:07+08:00","author":{"@type":"Person","name":"luping.net","url":"https://www.luping.net/articlelist/0_1.html"}}
”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > Jupyter Notebooks 作为端到端分析解决方案

Jupyter Notebooks 作为端到端分析解决方案

发布于2024-08-26
浏览:834

介绍

你醒了。您查看待办事项列表,发现团队成员有一项任务。他们希望您进行某种分析并生成报告。请求本身相对复杂,这意味着您可能需要使用问题陈述对其进行分解,从数据源中提取数据,进行探索,收集您的见解,然后向团队成员讲述您的发现故事。

解决这个问题的方法如下:

  • 在任务跟踪平台(例如 Trello、Jira)中构建问题陈述
  • 从数据源(例如 SQL 数据库,使用 SSMS、Power Query 等接口)提取数据
  • 在分析工具(Python、R、Excel)中执行探索性数据分析和复杂转换
  • 确定见解,然后以易于理解的方式向麻瓜展示它们(一个幻灯片,或者如果您感兴趣的话,可以使用 Tableau 或 Power BI 等可视化工具)

听起来像是数据专业人员生活中的标准一天,对吧?然而,我不知道你怎么想,但在这么多工具之间移动数据可能会让人非常迷失方向。它导致工作流程效率非常低。但如果我告诉你有更好的方法呢?您可以在一个地方准备问题陈述、编写 SQL 查询、执行分析并呈现您的发现吗?如果您使用数据和 Python,您可能已经熟悉 Jupyter Notebook 作为临时分析的优秀工具。 Notebook 的交互式环境允许进行顺序分析和讲故事。但 Notebook 的魅力不仅仅在于它与 IPython 的结合。 Jupyter Notebook 本质上是使用 HTML、CSS 和 JS 构建的;这意味着我们可以利用这些技术来扩展笔记本的功能。在本文中,我将向您展示如何利用 Jupyter Notebook 的 Web 界面和 Python 丰富的数据库来构建端到端报告解决方案。

要继续操作,您需要在系统上安装以下软件和/或软件包:

SQL Server:这是我们将在数据提取中与之交互的 SQL 方言
Aventure Works Database:这是我们要从中查询数据的数据库集合。默认情况下,AW 数据库通常随 SQL Server 安装一起提供。但如果没有,请单击链接并按照有关如何将其加载到 SQL Server 安装中的说明进行操作。
Python 和 Jupyter:同时安装 Python 和 Jupyter 的最简单方法是使用 anaconda 发行版。如果您已经拥有 Python 但只想安装 Jupyter,请使用此链接。
Python 库

  • pyodbc
  • 熊猫
  • sqlalchemy
  • 情节
  • mlxtend
  • 网络x

现在我们已经解决了这个问题,让我们直接深入了解 Jupyter Notebook。您可以在下面找到它:

注意:上面的嵌入来自 github 存储库,您可以在此处克隆。但是,因为它托管在 github 上,所以所有 JS 交互性都被禁用,因此“切换按钮”将不会被渲染。但是,如果您将存储库克隆到您的计算机并在本地运行笔记本,您将看到该按钮如下所示:

Jupyter Notebooks as an End-to-End Analytics Solution

通过单击“切换按钮”,输入单元格将被隐藏,您将看到如下内容:

Jupyter Notebooks as an End-to-End Analytics Solution

就是这样。总之,以下是我们能够在一个环境(笔记本)中完成的所有操作:

  • 定义问题陈述并扩展目标
  • 连接到 SQL 数据库并直接从 SQL 数据库查询数据
  • 执行我们的分析
  • 绘图可视化
  • 使用 Markdown 来格式化我们的章节、布局和结果来讲述故事,并使我们的报告可供非技术受众阅读
  • 提供隐藏我们的技术输入的功能,只留下我们的故事和见解

完整的端到端分析工作流程,全部在一个环境中。下一步将是构建一个框架、技术和/或管道,使我们能够与利益相关者无缝地分享我们的报告。如果这篇文章得到足够的关注,我会在下一篇写这篇文章。 ?

版本声明 本文转载于:https://dev.to/simsights/jupyter-notebooks-as-an-end-to-end-analytics-solution-2d1o?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 如何处理PHP文件系统功能中的UTF-8文件名?
    如何处理PHP文件系统功能中的UTF-8文件名?
    在PHP的Filesystem functions中处理UTF-8 FileNames 在使用PHP的MKDIR函数中含有UTF-8字符的文件很多flusf-8字符时,您可能会在Windows Explorer中遇到comploreer grounder grounder grounder gro...
    编程 发布于2025-04-05
  • 您如何在Laravel Blade模板中定义变量?
    您如何在Laravel Blade模板中定义变量?
    在Laravel Blade模板中使用Elegance 在blade模板中如何分配变量对于存储以后使用的数据至关重要。在使用“ {{}}”分配变量的同时,它可能并不总是最优雅的解决方案。幸运的是,Blade通过@php Directive提供了更优雅的方法: $ old_section =“...
    编程 发布于2025-04-05
  • 如何干净地删除匿名JavaScript事件处理程序?
    如何干净地删除匿名JavaScript事件处理程序?
    删除匿名事件侦听器将匿名事件侦听器添加到元素中会提供灵活性和简单性,但是当要删除它们时,可以构成挑战,而无需替换元素本身就可以替换一个问题。 element? element.addeventlistener(event,function(){/在这里工作/},false); 要解决此问题,请考虑...
    编程 发布于2025-04-05
  • Android如何向PHP服务器发送POST数据?
    Android如何向PHP服务器发送POST数据?
    在android apache httpclient(已弃用) httpclient httpclient = new defaulthttpclient(); httppost httppost = new httppost(“ http://www.yoursite.com/script.p...
    编程 发布于2025-04-05
  • 如何配置Pytesseract以使用数字输出的单位数字识别?
    如何配置Pytesseract以使用数字输出的单位数字识别?
    Pytesseract OCR具有单位数字识别和仅数字约束 在pytesseract的上下文中,在配置tesseract以识别单位数字和限制单个数字和限制输出对数字可能会提出质疑。 To address this issue, we delve into the specifics of Te...
    编程 发布于2025-04-05
  • 如何同步迭代并从PHP中的两个等级阵列打印值?
    如何同步迭代并从PHP中的两个等级阵列打印值?
    同步的迭代和打印值来自相同大小的两个数组使用两个数组相等大小的selectbox时,一个包含country代码的数组,另一个包含乡村代码,另一个包含其相应名称的数组,可能会因不当提供了exply for for for the uncore for the forsion for for ytry...
    编程 发布于2025-04-05
  • 为什么我会收到MySQL错误#1089:错误的前缀密钥?
    为什么我会收到MySQL错误#1089:错误的前缀密钥?
    mySQL错误#1089:错误的前缀键错误descript [#1089-不正确的前缀键在尝试在表中创建一个prefix键时会出现。前缀键旨在索引字符串列的特定前缀长度长度,可以更快地搜索这些前缀。了解prefix keys `这将在整个Movie_ID列上创建标准主键。主密钥对于唯一识别...
    编程 发布于2025-04-05
  • 如何使用node-mysql在单个查询中执行多个SQL语句?
    如何使用node-mysql在单个查询中执行多个SQL语句?
    在node-mysql node-mysql文档最初出于安全原因最初禁用多个语句支持,因为它可能导致SQL注入攻击。要启用此功能,您需要在创建连接时将倍增设置设置为true: var connection = mysql.createconnection({{multipleStatement:...
    编程 发布于2025-04-05
  • 如何在php中使用卷发发送原始帖子请求?
    如何在php中使用卷发发送原始帖子请求?
    如何使用php 创建请求来发送原始帖子请求,开始使用curl_init()开始初始化curl session。然后,配置以下选项: curlopt_url:请求 [要发送的原始数据指定内容类型,为原始的帖子请求指定身体的内容类型很重要。在这种情况下,它是文本/平原。要执行此操作,请使用包含以下标头...
    编程 发布于2025-04-05
  • 如何限制动态大小的父元素中元素的滚动范围?
    如何限制动态大小的父元素中元素的滚动范围?
    在交互式接口中实现垂直滚动元素的CSS高度限制问题:考虑一个布局,其中我们具有与用户垂直滚动一起移动的可滚动地图div,同时与固定的固定sidebar保持一致。但是,地图的滚动无限期扩展,超过了视口的高度,阻止用户访问页面页脚。 映射{} 因此。我们不使用jQuery的“ .aimimate(...
    编程 发布于2025-04-05
  • 为什么不使用CSS`content'属性显示图像?
    为什么不使用CSS`content'属性显示图像?
    在Firefox extemers属性为某些图像很大,&& && && &&华倍华倍[华氏华倍华氏度]很少见,却是某些浏览属性很少,尤其是特定于Firefox的某些浏览器未能显示图像时未能显示图像时遇到了一个问题。这可以在提供的CSS类中看到:。googlepic { 内容:url(&#...
    编程 发布于2025-04-05
  • 如何将多种用户类型(学生,老师和管理员)重定向到Firebase应用中的各自活动?
    如何将多种用户类型(学生,老师和管理员)重定向到Firebase应用中的各自活动?
    Red: How to Redirect Multiple User Types to Respective ActivitiesUnderstanding the ProblemIn a Firebase-based voting app with three distinct user type...
    编程 发布于2025-04-05
  • 如何解决由于Android的内容安全策略而拒绝加载脚本... \”错误?
    如何解决由于Android的内容安全策略而拒绝加载脚本... \”错误?
    Unveiling the Mystery: Content Security Policy Directive ErrorsEncountering the enigmatic error "Refused to load the script..." when deployi...
    编程 发布于2025-04-05
  • 如何从PHP中的数组中提取随机元素?
    如何从PHP中的数组中提取随机元素?
    从阵列中的随机选择,可以轻松从数组中获取随机项目。考虑以下数组:; 从此数组中检索一个随机项目,利用array_rand( array_rand()函数从数组返回一个随机键。通过将$项目数组索引使用此键,我们可以从数组中访问一个随机元素。这种方法为选择随机项目提供了一种直接且可靠的方法。
    编程 发布于2025-04-05
  • 对象拟合:IE和Edge中的封面失败,如何修复?
    对象拟合:IE和Edge中的封面失败,如何修复?
    To resolve this issue, we employ a clever CSS solution that solves the problem:position: absolute;top: 50%;left: 50%;transform: translate(-50%, -50%)...
    编程 发布于2025-04-05

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3