数据仓库中元数据的概念及作用

2020-06-28

不知道大家有没有接触过“元数据”一词，元数据贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使数据仓库自动化，可视化。 下面，就让我们来看一下什么是“元数据”。 按照传统的定义，元 ...

用户画像是什么？有什么作用？

2020-06-28

用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、 ...

手把手教你用直方图、饼图和条形图做数据分析（Python代码）

2020-06-24

导读：对数据进行质量分析以后，接下来可通过绘制图表、计算某些特征量等手段进行数据的特征分析。 作者：张良均 谭立云 刘名军 江建明 来源：大数据DT（ID：hzdashuju） 内容摘编自《Python数据 ...

从Hadoop到ClickHouse，现代BI系统有哪些问题？如何解决？

2020-06-24

导读：一次机缘巧合，在研究BI产品技术选型的时候，我接触到了ClickHouse，瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么ClickHouse好在哪呢?本文带你做一个 ...

机器学习数据降维方法：PCA主成分分析

2020-06-16

PCA在机器学习中很常用，是一种无参数的数据降维方法。PCA步骤： 将原始数据按列组成n行m列矩阵X 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 求出协方差矩阵 求 ...

ML基础：无监督学习之协方差矩阵

2020-06-16

在翻译sklearn文档 2.无监督学习 部分过程中，发现协方差矩阵几乎贯穿整个章节，但sklearn指导手册把协方差部分放在了这一章节偏后的部分，作为机器学习一个基础概念，在这篇文章中，想把协方差矩阵的相关知识以及 ...

交叉验证：评估模型的泛化能力表现

2020-06-16

注明：本文章所有代码均来自scikit-learn官方网站 在实际情况中，如果一个模型要上线，数据分析员需要反复调试模型，以防止模型仅在已知数据集的表现较好，在未知数据集上的表现较差。即要确保模型的泛化能力 ...

朴素贝叶斯（Naive Bayes）和校正曲线（Calibration Curve）

2020-06-10

算法回顾 图片来源：https://medium.com/machine-learning-101/chapter-1-supervised-learning-and-naive-bayes-classification-part-1-theory-8b9e361897d5 贝叶斯分类算法属于有监督机器学习（Su ...

Kmeans优化算法：二分K-means聚类算法

2020-05-29

算法的理解 Bi这里是的意思就是Binary，二进制的意思，所以有时候叫这个算法为二进Kmeans算法。为什么我们需要用BiKmeans呢，就是为了解决初始化k个随机的质心点时其中一个或者多个点由于位置太极端而导致迭代 ...

非参数统计检验中的假设检验是指什么？

2020-05-29

1980年代末，汉斯拉伊大学(Hansraj College)经济学荣誉毕业生的平均薪酬约为每年100万印度卢比。这一数字大大高于80年代初或90年代初毕业的人们。 他们平均水平如此之高的原因是什么呢？沙鲁克·汗是印度收入最 ...

使用python构建一个推荐系统需要几步？

2020-05-29

在我看来，作为一位中国人的我们不管做什么决定都在面临多种选择。例如，如果我这个时候想要买一本书，但是我却不知道我想看什么书、不知道类型、不知道方向，那么这个时候打开各种进行软件搜索可能会出现各种各样 ...

机器学习的数据清理以及数据标准化！

2020-05-29

没有干净的原始数据，为了满足机器学习怼数据的要求，必须过滤数据。例如， 1、查看数据，并排除所有缺少大量数据的列。 2、再次查看数据，然后选择要用于预测的列（特征选择）。进行迭代时，可能需要 ...

机器学习中的有监督和无监督都包括些什么？

2020-05-29

机器学习算法通常分为有监督的（训练数据有标记答案）和无监督的（可能存在的任何标签均未显示在训练算法中）。有监督的机器学习问题又分为分类（预测非数字答案，例如错过抵押贷款的可能性）和回归（预测 ...

深度学习算法：CNN、RNN、LSTM、TensorFlow等之间的关系！

2020-05-27

用于实际问题的深度神经网络可能具有10层以上的隐藏层。它的拓扑可能很简单，也可能很复杂。网络中的层越多，它可以识别的特征就越多。不幸的是，网络中的层越多，计算所需的时间就越长，并且训练起来就越困难。 ...

使用python来绘制漂亮的图表:seaborn篇！

2020-05-27

延续上一篇pandas的文章，我们继续来探讨python中的seaborn，能画出多么高级和漂亮的图标。 漂亮：seaborn的高级绘图

如何正确选择线性回归、逻辑回归、决策等机器学习算法

2020-05-27

机器学习既是艺术又是科学。但当您查看机器学习算法时，没有一种解决方案或一种适合所有情况的算法。有几个因素会影响您选择哪种机器学习。 有些问题非常具体，需要采取独特的方法。例如，如果您使用推荐系统， ...

Kmeans算法精简版(无for loop循环)

2020-05-27

大家在学习算法的时候会学习到关于Kmeans的算法，但是网络和很多机器学习算法书中关于Kmeans的算法理论核心一样，但是代码实现过于复杂，效率不高，不方便阅读。这篇文章首先列举出Kmeans核心的算法过程 ...

python语音识别：智能语音识别技术入门系列（上）

2020-05-26

目前，python语音识别越来越流行，今天本系列文章开始，我们将一起探索自动语音识别、语言处理技术所包含的核心算法、模型及未来的发展趋势。本篇文章我们主要讨论语音识别的基本概念。并理解语音识别技术的流程。 ...

机器学习python应用，简单机器学习项目实践！

2020-05-25

上一篇文章中介绍了机器学习的简单知识，还有python中进行机器学习实践需要的生态环境，接下来将会通过鸢尾花分类这个例子对机器学习做一个简要的介绍。通过一步一步地实现这个项目来介绍以下内容。 导入和 ...

机器学习python算法应用，监督学习、无监督学习等！

2020-05-25

本系列文章主要介绍机器学习在实践中的应用，介绍利用 python 的生态环境，使用机器学习的算法来解决工程实践中的问题，而不是介绍算法本身。本系列文章参考了《机器学习Python实践》，会通过例子一步一步地引导大 ...