由品牌娱乐网人工智能主管泰勒·福克曼
我知道你在想什么--“我当然知道怎么编码,你疯了吗?”
你每天在Jupyter笔记本上写成百上千行的代码。很明显,你可以编码。这并不像是在手工或在Excel中训练机器学习模型(尽管这是可能的)。
那我能说什么呢?
我不想告诉你,但大多数编码数据科学家都不认为是真正的编程。您正在使用编程语言作为工具来探索数据和构建模型。但是你创建的程序并不是你真正考虑的东西,只要它完成了工作。
您的代码通常很杂乱,甚至可能无法按顺序运行(多亏了笔记本)。您可能从未编写过任何单元测试,并且对如何编写好的、可重用的函数知之甚少。
但是,随着数据科学越来越多地嵌入到实际产品中,这种类型的代码将无法削减它。你不能信任糟糕的代码,把你不能信任的代码放到产品中会导致大量的技术债务和糟糕的用户体验。
“好吧,好吧,但是,我是数据科学家,不是软件工程师”,你说。我构建模型,清理代码是其他人的问题。虽然这在一些公司可能奏效,但就目前而言,我坚信更好的模式是让数据科学家学习如何编写更好的代码。你可能永远不会成为一名精英级别的软件工程师,但数据科学家可以写出可以信任的代码,并通过一些工作投入生产。
当学习如何升级代码时,从如何编写函数开始。大多数代码只是一系列函数(或潜在的类),如果您能够学会编写相当好的函数,这将大大提高您的代码质量。
您的职能至少应:
虽然有很多关于如何编写干净函数的书,但这三个项目是一个很好的开始。
你永远不应该有一个感觉它试图做的不仅仅是一件事的函数。一些迹象表明您的功能可能做得太多:
只做一件事的函数很重要,因为它使您的代码更容易理解、管理和测试(稍后将详细介绍测试)。
任何发布到生产中的函数都应该有一个文档字符串,该字符串应该描述函数的功能,给出关于输入参数的信息,并可能提供一些如何使用函数的简单示例。将来,当您有了文档化的函数时,您会感谢自己,而其他人也会更容易理解您的代码。
最后,请使用易懂和有用的变量名。太多的数据科学家对使用“a”、“a1”和“a2”这样的变量名感到很不高兴。在实验时,简短的、无用的变量名更快地键入,但在将代码投入生产时,请确保您的变量名有助于其他人理解您的代码。
数据科学家经常使用打印语句来显示正在发生的事情的信息。但是,在生产中,如果不再需要这些打印语句,则应该删除它们,或者将它们转换为日志语句。
日志记录应该是从代码中传递信息和错误的方式。Loguru是一个很好的Python库,可以让日志记录变得更加简单。它会自动处理日志记录的大部分烦人部分,感觉更像是使用打印语句。
编程中的样式指南用于使许多人更容易地处理相同的代码,但使代码看起来更像是由一个人编写的。
这有什么关系?
当您有一个一致的风格时,它使导航和理解代码变得更加容易。令人惊讶的是,当使用样式指南时,发现bug会容易得多。遵循编写代码的标准方式将使您更容易在代码和其他代码中导航。这意味着您不必花太多时间来理解代码是如何格式化的,而是可以专注于代码的功能以及它是否正确和良好地完成了它。
PEP8可能是Python使用最广泛的样式指南。不过,外面有很多。另一个流行的风格指南来源是谷歌,因为他们已经公开了他们的内部风格指南。
重要的是你选择了一个并努力坚持下去。一种简单的方法是使IDE能够检查样式错误,并设置样式检查,以便在没有遵循样式指南的情况下阻止推送代码。您还可以通过使用自动格式化程序来进一步提交,该程序将自动为您格式化代码。这些代码允许您编写任何您想要的代码,然后在运行时自动格式化您的代码以符合标准。对于Python来说,一个流行的是黑色。
我发现大多数数据科学家害怕测试,因为他们不知道如何开始测试。
事实上,许多数据科学家已经运行我称之为临时测试。我发现对于一个数据科学家来说,在他们的笔记本中快速地运行一些新功能的“理智检查”是很常见的。您通过一些简单的测试用例,并确保函数按预期运行。
软件工程师称之为过程单元测试。
然而,唯一的区别是,数据科学家通常会删除这些临时测试,然后继续前进。相反,您需要保存它们,并确保每次在推送代码之前都运行它们,以确保没有任何损坏。
要开始使用Python,我将使用Pytest。使用pytest,您可以轻松地创建测试并一次运行它们以确保它们通过。一个简单的入门方法是使用一个名为“tests”的目录,在该目录中有以“test”开头的Python文件。例如,可以使用“test_addition.py”
# content of test_addition.py def add(x, y): return x + y def test_add(): assert add(3, 2) == 5
通常,您将在另一个Python文件中拥有您的实际函数,并将其导入到您的测试模块中。您也不需要测试Python加法,但这只是一个非常简单的示例。
在这些测试模块中,您可以保存所有功能的“健全检查”。通常良好的做法是不仅测试常见情况,而且测试边缘情况和潜在错误情况。
注意:有许多不同类型的测试。我认为单元测试是数据科学家开始测试的最佳测试。
最后,但并非最不重要的,在我们的列表中,要写出更好的代码,最重要的事情是代码审查。
代码审查是指在您将代码提交给主分支之前,另一个擅长在您的域中编写代码的人对您的代码进行审查。此步骤确保遵循最佳实践,并希望捕获任何错误代码或bug。
审查您的代码的人最好至少和您一样擅长编写代码,但是即使让更初级的人审查您的代码仍然是非常有益的。
懒惰是人类特有的行为,很容易让这种懒惰潜入我们的代码中。知道有人将审查您的代码是花时间编写好代码的巨大激励。这也是我发现的最好的改进方法。让一个更有经验的同事检查您的代码并给出改进方法的建议是无价的。
为了使那些审查您的代码的人更容易,尽量减少新代码的数量。小型的、频繁的代码审查工作得很好。不经常的、巨大的代码审查是可怕的。没有人希望被发送1000行代码来审查。这些评论往往会提供更糟糕的反馈,因为这个人不能花必要的时间一次真正理解这么多代码。
我希望这篇文章启发了您花时间学习如何编写更好的代码。这不一定很难,但它需要时间和努力来提高。
如果你遵循这5条建议,我相信你会注意到你的代码质量有了很大的提高。
你未来的自己和你的同事会感谢你的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在职场中,许多言辞并非表面意思那么简单,有时需要听懂背后的“潜台词”。尤其在数据分析的领域里,掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会,数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算,而是在数据的海洋中探寻规律,从而指 ...
2025-01-03又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-03在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31提到数据分析,你脑海里可能会浮现出一群“数字控”抱着电脑,在海量数据里疯狂敲代码的画面。但事实是,数据分析并没有你想象的 ...
2024-12-31关于数据分析师是否会成为失业高危职业,近年来的讨论层出不穷。在这个快速变化的时代,技术进步让人既兴奋又不安。今天,我们从 ...
2024-12-30数据分析师在现代企业中扮演着关键角色,他们的工作内容不仅丰富多样,还对企业的决策和发展起着重要的作用。正如一个经验丰富的 ...
2024-12-29数据分析师的能力要求 在当今的数据主导时代,数据分析师的角色变得尤为重要。他们不仅需要具备深厚的技术背景,还需要拥有业务 ...
2024-12-29随着技术的飞速发展与行业的持续变革,不少人心中都存有疑问:到了 2025 年,数据分析师还有前途吗?给你分享一篇阿里P8大佬最近 ...
2024-12-29如何构建数据分析整体框架? 要让数据分析发挥其最大效能,建立一个清晰、完善的整体框架至关重要。今天,就让我们一同深入探讨 ...
2024-12-27AI来了,数分人也可以很省力,今天给大家介绍7个AI+数据分析工具,建议收藏。 01酷表 EXCEL 网址:https://chatexcel.com/ 这是 ...
2024-12-26一个好的数据分析模型不仅能使分析具备条理性和逻辑性,而且还更具备结构化和体系化,并保证分析结果的有效性和准确性。好的数据 ...
2024-12-26当下,AI 的发展堪称狂飙猛进。从 ChatGPT 横空出世到各种大语言模型(LLM)接连上线,似乎每个人的朋友圈都在讨论 AI 会不会“ ...
2024-12-26数据分析师这个职业已经成为了职场中的“香饽饽”,无论是互联网公司还是传统行业,都离不开数据支持。想成为一名优秀的数据分析 ...
2024-12-26在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25