做大数据必须了解的多种处理框架

2016-11-28

做大数据必须了解的多种处理框架 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是 ...

2016年大数据技术发展趋势概述

2016-10-30

2016年大数据技术发展趋势概述 对大规模数据集进行分析能够帮助我们掌握隐藏模式、客户偏好、未知关联性、市场趋势以及其它极具价值的业务信息。在此基础之上，企业能够实现成本削减、促进决策制定并提供更多有 ...

大数据技能知多少

2016-10-20

大数据技能知多少 说起“大数据”一词，也是真正被吵够了。做个简单的统计也叫大数据，做个表格、画个图形出来，就叫大数据了。言谈间凡是不和“大数据”沾边，就感觉已经落伍了。其实，很多人除了知道简单的统 ...

建立数据场的七大技能

2016-03-29

建立数据场的七大技能 成为数据极客，建立自己的数据场需要哪些技能呢?遇到普通的数据，通过SQL做分析。如果数据量比较大，可以使用Hadoop等大数据框架处理。在深入挖掘上，可用Python或者R语言进行编程。 0 ...

玩转数据分析，必知必会的7款Python工具！

2016-03-22

玩转数据分析，必知必会的7款Python工具 如果你有志于做一个数据专家，你就应该保持一颗好奇心，总是不断探索，学习，问各种问题。在线入门教程和视频教程能帮你走出第一步，但是最好的方式就是通过熟悉各种已 ...

大数据技术人员工具包最全集合

2016-03-15

大数据技术人员工具包最全集合 数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、 ...

数据科学家和大数据技术人员工具包汇总

2016-03-14

本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享 ...

2分钟读懂Hadoop和Spark的异同

2016-03-06

2分钟读懂Hadoop和Spark的异同 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么 ...

美国大数据工程师面试攻略有哪些

2016-02-26

美国大数据工程师面试攻略有哪些 在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网公司百度、阿里巴巴、奇虎、人人，到美国一线公司Facebook、Google、Linkedin、Twitter、Ama ...

大数据工具比较-R语言和Spark谁更强

2016-02-20

大数据工具比较-R语言和Spark谁更强 现如今的大数据工具真是多，在数据分析师工作中，使用哪些工具更加合适呢，r语言和Spark机器学习那个中有市场率更高些，那个在运算中更快更强些呢？ Spark的机器学习库 ...

sparkSQL是什么，如何理解？

2020-08-11

一、sparkSQL简介 1.sparkSQL定义 sparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.sparkSQL来源 要想了解sparkSQL来源， ...

量化研究如何“知其然知其所以然，知其然知其何以用”

2020-07-22

说量化研究难， “知其然知其所以然，知其然知其何以用” 7月25-27日三天 经管之家学术研讨会 特邀请量化研究大师和当红社会定量分析名师王存同教授 带我们从线性回归走向因果推断！ 因果推 ...

2020年因果推断专题讨论会从线性回归走向因果推断

2020-06-23

因果推断(causalinference)，缘起人类的本能或经常自发提出的一个简单问题：为什么(why)?事实上，作为科学研究的核心与宗旨——因果推断就是关于此问题的严肃思考、科学验证或因果分析(causal analysis)。目前，因 ...

加快python算法的四个方法：Dask篇

2020-06-08

CDA数据分析师 出品 相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已，接下来我们围绕四个方法来帮助大家加快一下python的计算时间，减少大家在算法上的等待 ...

sparkSQL和spark有什么区别？

2020-05-14

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 sparkSQL提供了一 ...

RDD是什么？关于它的前世今生！

2020-05-13

rdd，英文全称为：Resilient Distributed Dataset，中文简称“弹性分布式数据集”，spark中最基础的抽象数据结构。 RDD具备分区、不可变、并行操作这三个基本特性，表现形式为不可变的分区元素的集合，并且可以在集 ...

第十届CDA考试Level 2优秀考生访谈：如何进一步提升职场数据技能

2019-08-27

之前我们采访了CDA认证考试 Level 1中的几位优秀考生，为大家分享了他们备考中的心路历程。 下面让我们来一睹他们的风采吧！ LEVEL Ⅱ 大数据分析师 王幸 希望今后能继续在大数据行业做些有趣、有 ...

大数据的分布式数据库技术的对比

2019-02-26

大数据技术的实现离不开很多其他的技术，我们提到最多的就是Hadoop技术，其实就目前而言，Hadoop技术看似是自成一套体系，其实并不是这样的，Hadoop和Spark以及分布式数据库其实也是存在差异的，我们就在 ...

Hadoop常见问题解答

2018-07-23

Hadoop常见问题解答 （1）Hadoop适不适用于电子政务？为什么？ 电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务 ...

Spark一种快速数据分析替代方案

2018-07-20

Spark一种快速数据分析替代方案 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存 ...