python数据挖掘常用工具有哪几种？

2020-07-10

python有强大的第三方库，广泛用于数据分析，数据挖掘、机器学习等领域，下面小编整理了python数据挖掘的一些常用库，希望对各位小伙伴学习python数据挖掘有所帮助。 1. Numpy 能够提供数组支持，进行 ...

AI监考，机器人研究员，你离失业下岗还有多远？

2020-07-10

2020年高考，辽宁省首次将AI人工智能用到考试行为分析中，对高考考试的疑似违规行为进行检测。 图片来源：辽宁考试之窗 利物浦大学的研究者开发的「007」机器人，一天二十几个小时都泡在实验室里，8 天 ...

这几种分布式计算框架，你必须知道！

2020-07-10

对于大数据的处理问题，计算机科学界有两大方向：一是集中式计算，另外一种是分布式计算。小编今天给大家整理的是几种主流的分布式计算框架，希望对大家有所帮助。 Hadoop是基础，它的HDFS能够存储文件，Yarn进 ...

python数据分析常用的库有哪几种？

2020-07-09

1、Numpy NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的库。它是Python创建的所有更高层工具的基础。以下是它提供的一些功能： a、N维数组 ...

不平衡数据处理常用方法--下采样

2020-07-09

机器学习中，当原始数据的分类极不均衡，需要对不平衡数据进行处理，而下采样就是处理方法之一。简单来说就是从多数类中随机抽取样本从而减少多数类样本的数量，使数据达到平衡。 下采样，通常适用于 ...

如何快速简单的理解决策树的概念？

2020-07-09

决策树(Decision Tree)是机器学习中一种常见的算法，它的思想非常朴素，就像我们平时利用选择做决策的过程。决策树是一种基本的分类与回归方法，当被用于分类时叫做分类树，被用于回归时叫做回归树。 一、决策 ...

XGBoost算法的这3类参数，你知道吗？

2020-07-09

XGBoost是诞生于2014年2月的一种专攻梯度提升算法的机器学习函数库，它有很好的学习效果，速度也非常快，与梯度提升算法在另一个常用机器学习库scikit-learn中的实现相比，XGBoost的性能可以提升10倍以上。还有，X ...

随机森林（Random Forest）算法的优点和缺点都有哪些？

2022-12-23

随机森林(Random Forests)现在机器学习中比较火的一个算法，是一种基于Bagging的集成学习方法，能够很好地处理分类和回归的问题。下面小编整理了随机森林的优点和缺点，希望对大家有所帮助。 随机森林有许多优 ...

对于KNN算法概念以及原理的简单理解

2020-07-09

KNN的全称是K-Nearest Neighbors，具体意思为K个最近的邻居。KNN算法可以说是机器学习算法中最简单、最基础的算法了。既能用于分类，也能用于回归。是通过测量不同特征值之间的距离来进行分类。 KNN的基本思路 ...

过拟合(over-fitting)出现的原因及相应的解决方法

2020-07-08

过拟合(over-fitting)是指机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。也就是referstoa模型对于训练数据拟合程度过高的情况。 通过学习曲线来理解 ...

如何理解欠拟合？常用的处理方法有哪些？

2020-07-08

一、欠拟合概念及理解 机器学习中欠拟合是一个常见的问题，简单来说就是模型在训练和预测时表现都欠佳的情况。一个欠拟合的机器学习模型不是一个良好的模型并且在训练数据上表现不好这是显而易见的。 图 ...

特征值和特征向量的详细计算及几何意义

2020-07-08

矩阵特征值与特征向量在机器学习算法中经常会用到，每次出现都有着其独特的意义，如果不能深入理解特征值和特征向量两个概念，对我们机器学习的实际应用会有很大影响。小编今天整理了特征值和特征向量的概念计算以 ...

你需要掌握的4种常用数据降维方法

2020-07-09

近来数据记录和规模属性都在急剧增长，由于大多数数据挖掘算法都是直接逐列处理数据，因此导致算法越来越慢。为了保证减少数据列数的同时，丢失的数据信息尽可能少， 数据降维处理算法应运而生。 一、降维的 ...

关于混淆矩阵(Confusion Matrix)概念的分析和理解

2020-07-08

混淆矩阵(confusion matrix)，又被叫做错误矩阵(error matrix)。矩阵的每一列代表分类器对于样本的类别预测，矩阵的每一行代表版本所属的真实类别。 ’混淆矩阵‘这个名字来源于，它能够很容易的看到机器学习是 ...

python数据挖掘的基本任务是什么？

2020-07-07

数据挖掘(data mining，简称DM)，是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。在python对数据的处理方式中，数据挖掘和数据分析是两个重要的方式，目 ...

特征工程是什么？常用的方法有哪些？

2020-07-07

“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器 ...

Hadoop是什么意思，有哪些作用？

2020-07-07

Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，对那种对几个记录随机读写的在线事务处 ...

常用的python缺失值处理方法有哪几种？

2020-07-06

缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。 python缺失的处理一般情况下有三种方法： （1）删掉缺失值数据 删除法是 ...

强强联合|美林数据牵手CDA共同推动大数据分析人才培养

2020-07-06

近日，美林数据与CDA(Certified Data Analyst)达成战略合作，以促进大数据与人工智能产业发展为目标，充分发挥双方优势，共同推动大数据分析人才培养，为国家大数据与人工智能产业发展提供满足行业需求的优质 ...

集成学习是什么？有哪些分类？

2020-07-03

今天小编给大家带来的是现在非常火爆的机器学习方法——集成学习。集成学习，顾名思义，通过将多个单个学习器集成/组合在一起，使它们共同完成学习任务，有时也被称为“多分类器系统(multi-classifier system)”、 ...