常见的数据清洗技术有哪些？

2023-06-17

数据清洗是指将原始数据经过处理、筛选和转换等操作，以便让数据能够适合于分析、挖掘、建模等应用场景的一系列技术。数据清洗在数据科学领域中非常重要，因为数据质量对于后续的分析结果有着至关重要的影响。本文将 ...

如何解决数据不平衡问题？

2023-06-15

数据不平衡是指在某个分类问题中，不同类别的样本数量严重失衡。这种情况会对机器学习模型造成一定挑战，因为模型倾向于将大数目类别作为主要预测。解决数据不平衡问题是一个非常重要的机器学习任务，它可以帮助提高 ...

不良数据如何识别并清除？

2023-06-15

在当今数据驱动的世界中，数据质量对于企业和组织的成功至关重要。不良数据可能会导致错误决策、低效运作和损失。因此，对于任何组织来说，识别并清除不良数据是非常重要的步骤。 下面是一些方法来识别并清除不良数 ...

如何处理不平衡数据集？

2023-06-15

不平衡数据集是指在分类问题中，某些类别的样本数量远远少于其他类别的样本数量。这种情况可能会导致机器学习模型的训练和评估出现偏差，从而影响其性能和准确性。因此，在处理不平衡数据集时，需要采取一系列的方法 ...

如何对机器学习xgboost中数据集不平衡进行处理？

2023-04-18

机器学习是一种利用算法和模型从数据中自动学习的方法，而不需要明确编程。随着技术的发展，机器学习在解决各种问题方面得到了广泛的应用。但是，在实际应用中，我们会遇到一个常见的问题：不平衡的数据集。 由于某 ...

xgboost模型训练时需要对类型特征进行one-hot编码吗？

2023-04-03

XGBoost是一种强大的机器学习算法，广泛应用于数据挖掘和预测建模。在XGBoost模型中，包括许多特征工程技术，例如对类型特征进行编码。在本文中，我们将探讨是否需要对类型特征进行独热编码，并介绍如何使用XGBoost ...

神经网络训练结果不稳定可能是什么原因？有什么解决办法？

2023-04-03

神经网络是一种强大的机器学习模型，可用于各种任务。然而，在训练神经网络时，我们可能会遇到结果不稳定的情况，这意味着在同样的数据集和超参数下，神经网络的性能可能会有很大的差异。本文将探讨神经网络训练结果 ...

如何避免无效的数据分析结果，这六种错误不可忽视

2021-12-08

导读：在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集通过丢弃、填充、替换、去重等操作，达到去除异常、纠正错误、补足缺失的目的。 作者：宋天龙 本文转自：大数据DT（ ...

一个企业级数据挖掘实战项目，教育数据挖掘

2021-07-06

来源：数据STUDIO 作者：云朵君 导读：大家好，我是云朵君！自从分享了一篇能够写在简历里的企业级数据挖掘实战项目，深受读者朋友们青睐，许多读者私信云朵君，希望多一些类似的数据挖掘实际案例。这就来了 ...

实例 | 教你用python写一个电信客户流失预测模型

2020-09-15

   CDA数据分析师 出品   作者：真达、Mika 数据：真达   【导读】 今天教大家如何用python写一个电信用户流失预测模型。之前我们用Python写了员工流失预测模型 ...

R语言之数据管理

2017-07-08

R语言之数据管理 数据挖掘最重要的一环就是如何管理你的数据，因为原始数据一般都不能直接用来进行分析，需要对原始数据进行增加衍生变量、数据分箱、数据标准化处理；对因子型变量进行哑变量处理；数据抽样和 ...

R语言中样本平衡的几种方法

2017-06-07

R语言中样本平衡的几种方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中 ...

22道机器学习常见面试题目汇总！(附详细答案)

2019-12-03

作者 | 数据分析1480 来源 | lsxxx2011 (1) 无监督和有监督算法的区别？ 有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。 ...

特异度等不可不知的11个重要机器学习模型评估指标

2020-05-20

【磐创AI导读】：评估一个模型是建立一个有效的机器学习模型的核心部分，本文为大家介绍了一些机器学习模型评估指标，希望对大家有所帮助。 评估一个模型是建立一个有效的机器学习模型的核心部分 ...

在CDA学成之后，终于拿到了我的理想offer！

2021-12-13

上海57期数据分析就业班学员 姓名：谭同学 毕业院校：湖南大学 专业：软件工程 入职信息：上海某汽车公司，数据分析师，薪资保密，上海 各位同学大家好，很荣幸接到李智老师的邀请，分享一些 ...

常用的数据分析图表及方法介绍

2019-01-21

也许你是一位管理客户的负责人，当你看到客户响应率降低，你想知道原因；也许你是一家公司的营销经理，当你看到注册数量下降，你想确定哪个指标出现问题。无论出现什么问题，找出导致问题的原因以及如何 ...

精准营销神器之客户画像，你值得拥有

2018-08-02

精准营销神器之客户画像，你值得拥有 现如今越来越多的用户偏爱线上交易，越来越少的人会选择去银行网点咨询，银行业要如何精准营销呢？相比传统的问卷调查，大数据金融科技可以更好地为银行赋能。 为进一步 ...

机器学习中训练样本不均衡问题

2018-04-03

机器学习中训练样本不均衡问题 在实际中，训练模型用的数据并不是均衡的，在一个多分类问题中，每一类的训练样本并不是一样的，反而是差距很大。比如一类10000，一类500，一类2000等。解决这个问 ...

在机器学习分类中如何处理训练集中不平衡问题

2018-04-01

在机器学习分类中如何处理训练集中不平衡问题 很多机器学习任务中，训练集中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。即类别不平衡，为了使得学习达到更好的效果，因此需要解决该类别 ...

不平衡数据分类算法介绍与比较

2018-04-01

不平衡数据分类算法介绍与比较 在数据挖掘中，经常会存在不平衡数据的分类问题，比如在异常监控预测中，由于异常就大多数情况下都不会出现，因此想要达到良好的识别效果普通的分类算法还远远不够，这里介绍几 ...