作者:Parul Pandey
来源:SQL数据库开发
一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文,分享了在数据科学中非常实用的 10 个小技巧。
有时候,一点小小的黑客行为可以节省时间,挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物,并且可以真正提高生产力。所以,下面是我最喜欢的一些技巧,我以本文的形式一起使用和编译它们。其中,有些可能是相当有名的,有些可能是新的,但我相信下次您从事数据分析项目时,它们会非常有用。
1.Profiling the pandas dataframe
Profiling 是一个帮助我们理解数据的程序,而 Pandas Profiling 正是实现这一点的一个 python包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe()和 df.info()函数通常用作 EDA 过程的第一步。但是,它只提供了非常基本的数据概述,对于大型数据集没有太大帮助。另一方面,pandas 分析函数使用 df.profile_report()扩展 pandas 数据帧,以便快速进行数据分析。它用一行代码显示了大量信息,在交互式 HTML 报告中也显示了这些信息。
对于给定的数据集,pandas 分析包计算以下统计信息:
Pandas Profiling 包计算统计信息
安装
pip install pandas-profiling --或者 conda install -c anaconda pandas-profiling
使用
让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。
#importing the necessary packages import pandas as pd import pandas_profiling # Depreciated: pre 2.0.0 version df = pd.read_csv('titanic/train.csv') pandas_profiling.ProfileReport(df)
注:在这篇文章发表一周后,Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化,事实上,功能已经包含在 pandas 中,报告也变得更加全面。以下是最新的语法用法:
使用
要在 Jupyter notebook 中显示报告,请运行:
#Pandas-Profiling 2.0.0 df.profile_report()
这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细,必要时包括图表。
还可以将报告导出到具有以下代码的交互式 HTML 文件中。
profile = df.profile_report(title='Pandas Profiling Report') profile.to_file(outputfile="Titanic data profiling.html")
2.为 pandas plots 带来交互性
pandas 有一个内置的.plot()函数作为数据帧类的一部分。然而,用这个函数呈现的可视化并不是交互式的,这使得它不那么吸引人。相反,也不能排除使用 pandas.dataframe.plot()函数绘制图表的易用性。如果我们不需要对代码进行重大修改,就可以像绘制 pandas plots那样绘出交互式图表呢?你可以在 Cufflinks 库的帮助下做到这一点。
Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来,便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。
安装
pip install plotly # Plotly is a pre-requisite before installing cufflinks pip install cufflinks
使用
#importing Pandas import pandas as pd #importing plotly and cufflinks in offline mode import cufflinks as cf import plotly.offline cf.go_offline() cf.set_config_file(offline=False, world_readable=True)
是时候用 Titanic 数据集来展示它的魔法了。
df.iplot()
df.iplot() vs df.plot()
右视图显示的是静态图表,左图表是交互式的,更详细地说,所有这一切在语法上都没有重大变化。
3.一点点 Magic
Magic 命令是 Jupyter notebook 中的一组方便的函数,旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下,您可以看到所有可用的 magic。
所有可用的 magic 函数列表
magic 命令有两种:行 magics(前缀为一个% 字符并在一行输入上操作)和单元 magics(用%% 前缀关联并在多行输入上操作)。如果设置为 1,则可以调用 magic 函数,而无需键入初始百分比。
让我们看看其中一些在常见数据分析任务中可能有用的功能:
% pastebin
%Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin 是一种在线内容托管服务,我们可以在其中存储纯文本(如源代码片段),然后可以与其他人共享 URL。事实上,Github gist 也类似于 Pastebin,尽管有版本控制。
考虑使用包含以下内容的 python script file.py:
#file.py def foo(x): return x
使用 Jupyter notebook 中的%pastebin 生成 pastebin url
%matplotlib notebook
%matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib 绘图。尝试用 notebook 替换内嵌部件,以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。
%matplotlib inline vs %matplotlib notebook
%run 函数在 notebook 内运行 python 脚本。
%run file.py
%WriteFile 将单元格的内容写入文件。在这里,代码将被写入一个名为 foo 的文件,并保存在当前目录中。
%%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。
4.发现和消除错误
interactive debugger 也是一个神奇的函数,但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常,请在新行中键入%debug 并运行它。这将打开一个交互式调试环境,将您带到发生异常的位置。您还可以检查程序中分配的变量值,并在此处执行操作。要退出调试器,请单击 q。
5.输出也可以很漂亮
如果您想为数据结构生成美观的表示,pprint 是你想要的模块,它在打印字典或 JSON 数据时特别有用。让我们来看一个使用 print 和 pprint 显示输出的示例。
6.突出报警框
我们可以在您的 Jupyter 笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。
蓝色警报框:信息提示
Tip: Use blue boxes (alert-info) for tips and notes. If it’s a note, you don’t have to include the word “Note”.
黄色警报框:警告
Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.
绿色警报框:成功
Use green box only when necessary like to display links to related content.
红色警报框:危险
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
7.打印单元格的所有输出
考虑一个包含以下代码行的 Jupyter notebook 单元:
In [1]: 10+5 11+6
Out [1]: 17
通常情况下,单元格中只有最后一个输出会被打印出来,对于其他输出,我们需要添加 print()函数。好吧,其实我们只需在 notebook 顶部添加以下代码片段就可以打印所有输出。
from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"
现在所有的输出都被一个接一个地打印出来
In [1]: 10+5 11+6 12+7
Out [1]: 15 Out [1]: 17 Out [1]: 19
要恢复到原始设置:
InteractiveShell.ast_node_interactivity = "last_expr"
8.使用「i」文件运行 python 脚本
从命令行运行 python 脚本的一种典型方法是:python hello.py。但是,如果您在运行同一脚本(如 python)时添加了一个额外的-i hello.py,那么它提供了更多的优势。让我们看看怎么做。
首先,只要程序不结束,python 就不会退出解释器。因此,我们可以检查变量的值以及程序中定义的函数的正确性。
其次,我们可以通过以下方式轻松调用 Python 调试器,因为我们仍在解释器中:
import pdb pdb.pm()
这将使我们进入异常发生的位置,然后我们可以处理代码。
查看来源可以点击这里。
9.自动注释代码
ctrl/cmd+/自动将单元格中选定的行注释掉,再次点击组合将取消对同一行代码的注释。
10.删除容易恢复难
你有没有不小心删除了 Jupyter notebook 上的一个单元的经历?如果有,那么这里有一个快捷方式可以撤消删除操作。
如果删除了单元格的内容,则可以通过按 ctrl/cmd+z 轻松恢复该内容。
如果需要恢复整个已删除单元格,请按 Esc+Z 或 EDIT > Undo 撤销删除单元格。
结论
在本文中,我列出了在使用 Python 和 Jupyter notebook时收集到的主要技巧。我相信它们会对你有用,你会从这篇文章中收回一些东西。好了,开始快乐的编码之旅吧!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29