如何使用 Python 开始建立你的数据分析项目
现在有很多博文对复杂的机器学习算法和前沿的技术进行了展示,而这也促使数据科学家们慢慢变成了“社交控”(FOMO)。但数据分析的基本内容究竟是什么样的?你应当怎样安排项目结构?你需要使用什么样的工具?等等诸如此类的问题却鲜有人问津。本文将会对如何建立项目提供一些启发思路,以帮助你快速达到 在数据科学领域能有所产出 的境界。
项目结构
项目的结构总是为了契合人们的需求而得到不断完善,这会导致在一个团队中出现不同的项目构架。如果你或者团队中的其他人能够及时发现项目结构的重要性,并且这个概念在团队中得到推广,那么,你无疑是幸运的。
多年前作者偶然发现了 R 语言的项目模板 网站。从那之后,作者便一直提倡身边的人使用规范的项目结构。最近,DrivenData 发布了更为普适的 Cookiecutter Data Science 来构建项目结构。
而这些网站在项目构建方面的思路大致如下:
一个连贯且组织良好的结构,以便于人们协作
你的分析应当可复现,而你的项目结构可以满足这个需求
不应该从原始数据作为出发点开始你的项目,而应当假设原始数据不变,创建其他派生的文件
作者简略的项目结构如下所示:
example_project/
├── data/ <- The original, immutable data dump.
├── figures/ <- Figures saved by notebooks and scripts.
├── notebooks/ <- Jupyter notebooks.
├── output/ <- Processed data, models, logs, etc.
├── exampleproject/ <- Python package with source code.
│ └── __init__.py <-- Make the folder a package.
└── process.py <-- Example module.
├── tests/ <- Tests for your Python package.
└── test_process.py <-- Tests for process.py.
├── environment.yml <- Virtual environment definition.
├── README.md <- README with info of the project.
└── setup.py <- Install and distribute your module.
你可以在 这里 看到相关实例。
项目通常遵循另一种结构:
原始数据不变,存储在 data/中;
数据处理和相关输出图分别存储在不同的文件夹下,例如:figures/和output/;
笔记文件存储在notebooks/;
项目信息撰写在README.md中;
项目代码放置在独立的文件夹下。
实际上,你选择什么样的项目结构并不重要,只要它能符合你的工作流程,你也能坚持使用它。你应该尝试去理解何为项目,从而选择满足要求的项目结构。
虚拟环境
项目之间应当相互独立,你肯定不希望新的项目打乱了之前的工作成果。我们可以通过把不同项目的文件存储在不同的文件夹下实现独立性,但是不同项目之间也应当使用不同的 Python 环境。
虚拟环境依赖于不同的项目而相互独立,避免了包的冲突问题。每个虚拟环境都安装了特定版本的不同包。虚拟环境一中安装了版本为 1.11 的numpy库和版本为 0.18 的pandas库,而虚拟环境二中则仅仅安装了版本为 0.17 的pandas库。作者选取适用于数据科学的 conda 管理虚拟环境(可在 这里 看到选择它的原因)。
下列命令可以创建一个使用 Python 3.5 的新的 conda 虚拟环境,命名为 example_project:
$ conda install --name example_project python=3.5
激活虚拟环境( Windows 系统下将 source 省去):
$ source activate example_project
之后便可以安装所需的包了:
$ conda install pandas numpy jupyter scikit-learn
当你在不同的项目间跳转时,可以运行source deactivate命令取消激活,并激活新的项目虚拟环境。
一旦你熟练使用activate和deactivate命令,就会发现虚拟环境是一个很轻巧的工具来保证 Python 环境的独立。通过导出环境定义文件(例如,所有安装的包名和版本号),你的项目就很容易得到复现了。如果你想查看更多细节,可在Tim Hopper 的博文 中看到。
Git
每个项目都应该有自己的 Git 资源库。在每个项目创建一个资源库可以帮助你追踪每个项目的历史和解决在不同的项目间复杂的版本依赖问题。
又或者,你可以选择在一个资源库中包含多个项目,将所有内容存储在一个位置。这样做的缺点在于往往会因为合并冲突问题而告终(数据科学家通常并不能熟练使用 Git )。除了很多使用 Git 时出现的问题,这也会导致你的项目之间缺乏独立性。
创建 Git 资源库最简单的方法就是在你的 Git 远程主机托管服务(例如,Github 和 GitLab )上创建一个新的 Git 资源库,然后把它复制到本地:
$ git clone https://github.com/hgrif/example-project.git
你可以在这个空文件夹下构建你的项目结构。
如果你按照这个步骤执行,并准备在一个新文件夹下创建一些文件了。那么,你首先还需要在电脑上对 git 资源库进行初始化:
$ git init
然后在你的远程主机上创建一个新的 git 资源库,得到它的链接,并运行下列命令:
$ git remote add origin https://github.com/hgrif/example-project.git
该命令会添加链接为 https://github.com/hgrif/example-project.git 的远程资源库,并命令为 origin 。你可能需要把现有的 master分支推送到origin上:
$ git push --set-upstream origin master
在你的项目目录下创建.gitignore文件可以避免将图或数据误填加进资源库中。作者一般使用 针对 Python 的.gitignore文件 ,并且在文件中加入 data/、figures/ 和 output/ 文件夹,以便 Git 可以忽略它们。
既然 Git 已经设置好了,你就可以对核心内容使用git add和git commit命令了!
使用工具
使用一些工具可以帮助你摆脱那些重复性工作。
Python 中的cookiecutter包可根据模板自动创建项目文件夹。你可以使用现有的模板,例如,Cookiecutter Data Science 或者 作者的项目结构模板 ,或是创建你自己新的模板。
使用虚拟环境最好的方法就是选用支持它们的编辑器,比如:PyCharm 。你也可以使用 autoenv 或者 direnv 去激活虚拟环境,并设置环境的变量,如果你cd定位到一个工作目录下的话。
结论
对你的数据科学项目有一个良好的设置将会有助于同其他人协作,并且项目本身也会更容易复现。一个好的项目结构,一个虚拟环境和一个 git 资源库是每个数据科学项目的基石。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29