当机器学习遇到数据量不够时，这几个Python技巧为你化解难题

2022-06-01

作者：俊欣 有时候我们在进行模型的训练与优化的时候，是需要基于现有的数据集来操作的，要是数据量比较充足的情况下倒是还好说，但是要是遇到数据量不够的情况，该怎么办呢？今天小编就给大家来介绍几个方法 ...

介绍一款进阶版的pandas数据分析神器：Polars

2022-04-11

作者：俊欣 来源：关于数据分析与可视化 相信对于不少的数据分析从业者来说呢，用的比较多的是Pandas以及SQL这两种工具，Pandas不但能够对数据集进行清理与分析，并且还能够绘制各种各样的炫酷的图表，但是 ...

Python实现机器学习前后端页面的交互

2022-04-01

作者： 俊欣 来源：关于数据分析与可视化 对于机器学习爱好者而言，很多时候我们需要将建好的模型部署在线上，实现前后端的交互，今天小编就通过Flask以及Streamlit这两个框架实现机器学习模型的前后端交互 ...

了解雇主对2020年数据科学家职位的期望

2022-03-30

作者Shareef Shaik，有抱负的数据科学家 最近，我积极地开始找工作，转到数据科学，我没有任何正式的教育，如硕士或博士。AI/机器学习背景。我开始学习它完全是出于我自己的兴趣（不仅仅是因为炒作）。这是 ...

面向小白的最全Python可视化教程，超全的

2022-03-28

作者：俊欣 来源：关于数据分析与可视化 今天小编总结归纳了若干个常用的可视化图表，并且通过调用plotly、matplotlib、altair、bokeh和seaborn等模块来分别绘制这些常用的可 ...

厉害了，在pandas中用SQL来查询数据，效率超高

2022-03-22

作者：俊欣 来源：关于数据分析与可视化 今天我们继续来讲一下Pandas和SQL之间的联用，我们其实也可以在Pandas当中使用SQL语句来筛选数据，通过Pandasql模块来实现该想法，首先我们来安装一下该模块 pi ...

盘点一个pandas中explode()爆炸函数应用实际案例

2022-03-18

作者：Python进阶者 来源：Python爬虫与数据挖掘 前言 偶然想对数据分列多一些操作，但是遇到了问题，如下图所示。 上图这个是原始数据，但是现在想要下图这样的效果，怎么破呢？ 这个 ...

给有抱负的数据科学家的建议--回答你最常见的问题

2022-03-14

罗曼·奥拉克，数据科学家。 我收到许多信息，向有抱负的数据科学家寻求建议。我不是职业建议方面的专家，所以对我写的一切都持怀疑态度。 我根据我对这个领域的观察和我多年来积累的经验给出建议。这是 ...

数据工程师面试指南

2022-03-14

网飞数据工程师欣然·威贝尔。 尽管数据工程师(DE)是2019年增长最快的科技职位，但没有太多关于数据工程面试期待什么以及如何准备的在线资源。 在过去的一年里，我在湾区的几家科技公司面试了数据工程师 ...

pandas多层级索引的数据分析案例，超干货的

2022-03-14

作者：俊欣 来源：关于数据分析与可视化 今天我们来聊一下Pandas当中的数据集中带有多重索引的数据分析实战 通常我们接触比较多的是单层索引（左图），而多级索引也就意味着数据集当中的行索引有多个 ...

Mongodb数据库转换为表格文件的库

2022-03-10

作者：Python进阶者 来源：Python爬虫与数据挖掘 前言 大家好，我是吴老板。今天给大家分享一个可将Mongodb数据库里边的文件转换为表格文件的库，这个库是我自己开发的，有问题可以随时咨询我。 M ...

pandas数据挖掘与分析时的常用方法

2022-03-07

作者：俊欣 来源：关于数据分析与可视化 今天我们来讲一下用Pandas模块对数据集进行分析的时候，一些经常会用到的配置，通过这些配置的帮助，我们可以更加有效地来分析和挖掘 ...

基于同步行为的反欺诈算法SynchroTrap实现细节

2022-02-28

作者：小伍哥 来源：小伍哥聊风控 上次分享了非常牛逼的不需要介质就能进行团伙挖掘的算法，大家都说是个好算法，但是实现细节还是有些问题。 由此可见，风控的实践大于算法，就像绘画，给我同样的材 ...

作为文科生，我是如何转行数据挖掘工程师的 | 附电信用户实战案例

2022-02-23

随着大数据的时代的来临，各个行业都受到了数据分析不同程度的影响和作用。尤其是在电信行业，数据分析已经逐渐成为电信运营商的战略优势之一。 大家好，我是一名CDA持证人，今天想跟大家分享一下，我如何 ...

厉害了，用Python绘制动态可视化图表，并保存成gif格式

2022-02-22

来源：俊欣 作者：关于数据分析与可视化 有粉丝问道说“是不是可以将这些动态的可视化图表保存成gif图”，小编立马就回复了说后面会写一篇相关的文章来介绍如何进行保存gif格式的文件。那么 ...

风控策略的自动化生成-利用决策树分分钟生成上千条策略

2022-02-21

作者：小伍哥 来源：小伍哥聊风控 本文重点：风控策略挖掘、策略推荐，策略发现，风控策略自动化，决策树 下面开始正文： 风控策略同学在挖掘有效的风控规则的时候，经常需要基于业务经验，将那几 ...

手把手教你数据造假-本福特定律和统计中的造假检测

2022-02-16

来源：小伍哥聊风控 大家好，我是小伍哥，今天给大家分享一个好像有用，好像又没啥用的奇奇怪怪的知识，风控嘛，就是玩儿。 “本福特定律”（Benford's law），也称“本福特法则”，它说明一堆从实际生活得 ...

作为一个数据科学家，管理你的可重复使用的Python代码

2022-02-15

以下是我作为数据科学家管理自己的可重复使用的Python代码的一些方法，从最常用的代码到最不常用的代码，并针对初学者介绍。 分享 具体地说，我所说的”是指如何组织、存储和调用您自己编写并发现作 ...

干货 | 如何利用Python处理JSON格式的数据，建议收藏

2022-02-11

来源： 关于数据分析与可视化 什么是JSON JSON模块的使用方法 JSON(JavaScript Object Notation, JS对象简谱)是一种轻量级的数据交换格式，通常是以键值对的方式呈现，其简洁和清晰的层次结构 ...

遇到100万行的 Excel，还没打开，电脑和我都崩溃了，该怎么办？

2022-02-10

CDA数据分析师 出品 作者：曹鑫 编辑：JYD 我真遇到了上百万行的 Excel 年底到了，我想把公司历年的销售明细和指标等业务数据放在一起透视做分析，觉得这样很方 ...