当“大数据”落地，当技术接轨商业

2018-01-22

当“大数据”落地，当技术接轨商业 这些书中，公认的以舍恩伯格的《大数据时代》为“国外大数据系统研究的先河之作”、“迄今为止关于大数据最好的一部着作”,那么，在众多所谓的“《大数据时代》之后必读之作 ...

数据挖掘十大经典算法之K最近邻算法

2018-01-02

数据挖掘十大经典算法之K最近邻算法 k-最近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。     基于实例的学习     1.已知一系列的训练样例，很多学习 ...

数据分析工作的思考与总结

2017-12-24

数据分析工作的思考与总结 1.什么是数据分析? 基于现有的业务知识和统计学基础知识及基本思想的理解与掌握，通过数据库及统计分析工具对数据的调取与处理、分析，达到对现有问题or主题的探索与剖析，最终 ...

浅谈数据分析和数据建模

2017-12-15

浅谈数据分析和数据建模 大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下 ...

如何成为一名数据分析师：数据的初步认知

2017-12-12

如何成为一名数据分析师：数据的初步认知 对所有从事数据相关工作的人而言，都有一个老生常谈的问题： 数据认知 !毕竟在真正开始分析、BI 报表开发或者建模前，对数据进行一定的审查和认知是必须的。今天，就 ...

缺失数据处理-插值法

2017-12-04

缺失数据处理-插值法 在数据挖掘中，原始海量的数据中存在着大量不完整、不一致、有异常、偏离点的数据。这些问题数据轻则影响数据挖掘执行效率，重则影响执行结果。因此数据预处理工作必不可少，而其中常见工 ...

Python 异常处理实例详解

2017-11-29

Python 异常处理实例详解 一、什么是异常？ 异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。 一般情况下，在Python无法正常处理程序时就会发生一个异常。 异常是Python对象，表示一个 ...

箱形图以及python实践

2017-10-25

箱形图以及python实践 最近在接触kaggle的竞赛示例，练习了一下，感觉受益匪浅。同时，心中也有个问题。拿到数据之后第一件事是什么？分析数据的情况？怎么分析？分析之后如何去处理数据呢？等等一些数据分析 ...

Excel-箱线图（数据分布）分析

2017-10-25

Excel-箱线图（数据分布）分析 箱线图（Boxplot）也称箱须图（Box-whisker Plot），它是用一组数据中的最小值、第一四分位数、中位数、第三四分位数和最大值来反映数据分布的中心位置和散布范围，可以粗略地看 ...

如何成为一名优质的数据科学家

2017-09-05

如何成为一名优质的数据科学家 开随着“数据驱动”的价值越来越明显，越来越多的企事业开始组建或扩大数据分析队伍，“数据科学家”这个职位也越来越被大家关注。 ▪ “数据科学家”是不是“统计师”更 ...

学会数据分析背后的挖掘思维，分析就完成了一半

2017-08-09

学会数据分析背后的挖掘思维，分析就完成了一半 在数据分析中,模型是非常有用和有效的工具和数据分析应用的场景,在建立模型的过程中,数据挖掘很多时候能够起到非常显著的作用。伴随着计算机科学的发展,模型也越 ...

图形和数值的数据集描述方法

2017-07-23

图形和数值的数据集描述方法 图形方法对数据集的描述 1. 条形图（bar graph）   条形图一般横向表示类别（class），纵向表示该类别所对应的类别频率（class frequency）。 2. 饼状图（pie graph） &nb ...

R语言与回归分析几个假设的检验

2017-07-22

R语言与回归分析几个假设的检验 一、从线性回归的假设说起 对于线性回归而言，若要求回归估计有一些良好性质比如无偏性，就需要加上一些假定条件。比如要达到估计的无偏性，我们通常需要加上高斯-马尔科夫 ...

R语言做数据探索

2017-06-09

R语言做数据探索 1 数据导入 数据常用格式.csv/.txt/.xls/.json/.xml。 R语言提供相应的函数和库实现对这些数据格式的导入。 现已导入.csv格式和以tab分隔的.txt格式为例 # 读.csv格式 data1<-read.c ...

如何高效实现数据优化，提升数据分析效能与价值

2017-05-25

如何高效实现数据优化，提升数据分析效能与价值 所谓“工欲善其事，必先利其器”，在数据分析大行其道的今天，如何高效实现数据优化，提升数据分析效能与价值，成为企业IT部门面对的重要课题之一。 小张的麻 ...

金融行业大数据应用及发展全洞察

2017-05-20

金融行业大数据应用及发展全洞察 大数据时代的三个重要趋势是：数据成为资产、行业垂直整合、泛互联网化(即技术与行业的跨界穿越与颠覆式发展)。大数据金融的作用机制是通过云计算等智能信息工具对序列之间的联 ...

说说什么是数据挖掘

2017-05-13

说说什么是数据挖掘 数据挖掘就是指从数据中获取知识。 好吧，这样的定义方式比较抽象，但这也是业界认可度最高的一种解释了。对于如何开发一个大数据环境下完整的数据挖掘项目，业界至今仍没有统一的规范 ...

【案例】数据挖掘与生活：算法分类和应用

2017-05-06

【案例】数据挖掘与生活：算法分类和应用 本文，主要想简单介绍下数据挖掘中的算法，以及它包含的类型。然后，通过现实中触手可及的、活生生的案例，去诠释它的真实存在。 一、数据挖掘的算法类型 一 ...

R语言：函数使用技巧（循环、if族/for、switch、repeat、ifelse、stopifnot）

2017-04-29

R语言：函数使用技巧（循环、if族/for、switch、repeat、ifelse、stopifnot） 1、循环 [plain] view plain copy print?在CODE上查看代码片派生到我的代码片     ##循环for      ...

一个使用R语言做数据处理的实例

2017-04-21

一个使用R语言做数据处理的实例 最近一个同学找到我，希望我帮忙处理一份数据。那份数据是这样的：包含了3661行，第一行为各列的名称；包含8列，第一列为专利ID，其余7列为企业ID。 这份数据截图如下所示： ...