由品牌娱乐网人工智能主管泰勒·福克曼
我知道你在想什么--“我当然知道怎么编码,你疯了吗?”
你每天在Jupyter笔记本上写成百上千行的代码。很明显,你可以编码。这并不像是在手工或在Excel中训练机器学习模型(尽管这是可能的)。
那我能说什么呢?
我不想告诉你,但大多数编码数据科学家都不认为是真正的编程。您正在使用编程语言作为工具来探索数据和构建模型。但是你创建的程序并不是你真正考虑的东西,只要它完成了工作。
您的代码通常很杂乱,甚至可能无法按顺序运行(多亏了笔记本)。您可能从未编写过任何单元测试,并且对如何编写好的、可重用的函数知之甚少。
但是,随着数据科学越来越多地嵌入到实际产品中,这种类型的代码将无法削减它。你不能信任糟糕的代码,把你不能信任的代码放到产品中会导致大量的技术债务和糟糕的用户体验。
“好吧,好吧,但是,我是数据科学家,不是软件工程师”,你说。我构建模型,清理代码是其他人的问题。虽然这在一些公司可能奏效,但就目前而言,我坚信更好的模式是让数据科学家学习如何编写更好的代码。你可能永远不会成为一名精英级别的软件工程师,但数据科学家可以写出可以信任的代码,并通过一些工作投入生产。
当学习如何升级代码时,从如何编写函数开始。大多数代码只是一系列函数(或潜在的类),如果您能够学会编写相当好的函数,这将大大提高您的代码质量。
您的职能至少应:
虽然有很多关于如何编写干净函数的书,但这三个项目是一个很好的开始。
你永远不应该有一个感觉它试图做的不仅仅是一件事的函数。一些迹象表明您的功能可能做得太多:
只做一件事的函数很重要,因为它使您的代码更容易理解、管理和测试(稍后将详细介绍测试)。
任何发布到生产中的函数都应该有一个文档字符串,该字符串应该描述函数的功能,给出关于输入参数的信息,并可能提供一些如何使用函数的简单示例。将来,当您有了文档化的函数时,您会感谢自己,而其他人也会更容易理解您的代码。
最后,请使用易懂和有用的变量名。太多的数据科学家对使用“a”、“a1”和“a2”这样的变量名感到很不高兴。在实验时,简短的、无用的变量名更快地键入,但在将代码投入生产时,请确保您的变量名有助于其他人理解您的代码。
数据科学家经常使用打印语句来显示正在发生的事情的信息。但是,在生产中,如果不再需要这些打印语句,则应该删除它们,或者将它们转换为日志语句。
日志记录应该是从代码中传递信息和错误的方式。Loguru是一个很好的Python库,可以让日志记录变得更加简单。它会自动处理日志记录的大部分烦人部分,感觉更像是使用打印语句。
编程中的样式指南用于使许多人更容易地处理相同的代码,但使代码看起来更像是由一个人编写的。
这有什么关系?
当您有一个一致的风格时,它使导航和理解代码变得更加容易。令人惊讶的是,当使用样式指南时,发现bug会容易得多。遵循编写代码的标准方式将使您更容易在代码和其他代码中导航。这意味着您不必花太多时间来理解代码是如何格式化的,而是可以专注于代码的功能以及它是否正确和良好地完成了它。
PEP8可能是Python使用最广泛的样式指南。不过,外面有很多。另一个流行的风格指南来源是谷歌,因为他们已经公开了他们的内部风格指南。
重要的是你选择了一个并努力坚持下去。一种简单的方法是使IDE能够检查样式错误,并设置样式检查,以便在没有遵循样式指南的情况下阻止推送代码。您还可以通过使用自动格式化程序来进一步提交,该程序将自动为您格式化代码。这些代码允许您编写任何您想要的代码,然后在运行时自动格式化您的代码以符合标准。对于Python来说,一个流行的是黑色。
我发现大多数数据科学家害怕测试,因为他们不知道如何开始测试。
事实上,许多数据科学家已经运行我称之为临时测试。我发现对于一个数据科学家来说,在他们的笔记本中快速地运行一些新功能的“理智检查”是很常见的。您通过一些简单的测试用例,并确保函数按预期运行。
软件工程师称之为过程单元测试。
然而,唯一的区别是,数据科学家通常会删除这些临时测试,然后继续前进。相反,您需要保存它们,并确保每次在推送代码之前都运行它们,以确保没有任何损坏。
要开始使用Python,我将使用Pytest。使用pytest,您可以轻松地创建测试并一次运行它们以确保它们通过。一个简单的入门方法是使用一个名为“tests”的目录,在该目录中有以“test”开头的Python文件。例如,可以使用“test_addition.py”
# content of test_addition.py def add(x, y): return x + y def test_add(): assert add(3, 2) == 5
通常,您将在另一个Python文件中拥有您的实际函数,并将其导入到您的测试模块中。您也不需要测试Python加法,但这只是一个非常简单的示例。
在这些测试模块中,您可以保存所有功能的“健全检查”。通常良好的做法是不仅测试常见情况,而且测试边缘情况和潜在错误情况。
注意:有许多不同类型的测试。我认为单元测试是数据科学家开始测试的最佳测试。
最后,但并非最不重要的,在我们的列表中,要写出更好的代码,最重要的事情是代码审查。
代码审查是指在您将代码提交给主分支之前,另一个擅长在您的域中编写代码的人对您的代码进行审查。此步骤确保遵循最佳实践,并希望捕获任何错误代码或bug。
审查您的代码的人最好至少和您一样擅长编写代码,但是即使让更初级的人审查您的代码仍然是非常有益的。
懒惰是人类特有的行为,很容易让这种懒惰潜入我们的代码中。知道有人将审查您的代码是花时间编写好代码的巨大激励。这也是我发现的最好的改进方法。让一个更有经验的同事检查您的代码并给出改进方法的建议是无价的。
为了使那些审查您的代码的人更容易,尽量减少新代码的数量。小型的、频繁的代码审查工作得很好。不经常的、巨大的代码审查是可怕的。没有人希望被发送1000行代码来审查。这些评论往往会提供更糟糕的反馈,因为这个人不能花必要的时间一次真正理解这么多代码。
我希望这篇文章启发了您花时间学习如何编写更好的代码。这不一定很难,但它需要时间和努力来提高。
如果你遵循这5条建议,我相信你会注意到你的代码质量有了很大的提高。
你未来的自己和你的同事会感谢你的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29