大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

Spark是什么？用Spark进行数据分析

2018-07-18

Spark是什么？用Spark进行数据分析 1什么是Apache Spark？ Apache Spark是一个为速度和通用目标设计的集群计算平台。 从速度的角度看，Spark从流行的MapReduce模型继承而来，可以更有效地支持多种类型的 ...

五种大数据处理架构

2018-03-02

五种大数据处理架构 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算 ...

大数据驱动证券行业数字化转型

2017-08-29

大数据驱动证券行业数字化转型 从十七世纪初第一只股票在欧洲诞生以来，证券及其交易就在资本市场上扮演着重要角色，在信息革命的时代，证券行业也行走在数字化转型的前列。今天，各种证券业务信息系统已经积累 ...

6个公司的大数据岗位的面试经验

2017-01-15

6个公司的大数据岗位的面试经验 本人住在有人间天堂之称的城市，6年多开发经验，最近2年主要在做大数据相关的开发，最近考虑换工作，基本也只考虑大数据相关岗位。目前新工作已经找好，但想分享一下最近面试的 ...

2017将至，大数据准备好了么

2016-12-03

2017将至，大数据准备好了么 去年，大数据市场完全围绕Hadoop生态系统周围的技术。从那时起，重心一直是通过已证明增加收入、提高生产力和降低风险而带来投资回报的使用场合，“将大数据切实利用起来”。现在， ...

做大数据必须了解的多种处理框架

2016-11-28

做大数据必须了解的多种处理框架 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是 ...

2016年大数据技术发展趋势概述

2016-10-30

2016年大数据技术发展趋势概述 对大规模数据集进行分析能够帮助我们掌握隐藏模式、客户偏好、未知关联性、市场趋势以及其它极具价值的业务信息。在此基础之上，企业能够实现成本削减、促进决策制定并提供更多有 ...

大数据技能知多少

2016-10-20

大数据技能知多少 说起“大数据”一词，也是真正被吵够了。做个简单的统计也叫大数据，做个表格、画个图形出来，就叫大数据了。言谈间凡是不和“大数据”沾边，就感觉已经落伍了。其实，很多人除了知道简单的统 ...

建立数据场的七大技能

2016-03-29

建立数据场的七大技能 成为数据极客，建立自己的数据场需要哪些技能呢?遇到普通的数据，通过SQL做分析。如果数据量比较大，可以使用Hadoop等大数据框架处理。在深入挖掘上，可用Python或者R语言进行编程。 0 ...

玩转数据分析，必知必会的7款Python工具！

2016-03-22

玩转数据分析，必知必会的7款Python工具 如果你有志于做一个数据专家，你就应该保持一颗好奇心，总是不断探索，学习，问各种问题。在线入门教程和视频教程能帮你走出第一步，但是最好的方式就是通过熟悉各种已 ...

大数据技术人员工具包最全集合

2016-03-15

大数据技术人员工具包最全集合 数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、 ...

数据科学家和大数据技术人员工具包汇总

2016-03-14

本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享 ...

2分钟读懂Hadoop和Spark的异同

2016-03-06

2分钟读懂Hadoop和Spark的异同 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么 ...

美国大数据工程师面试攻略有哪些

2016-02-26

美国大数据工程师面试攻略有哪些 在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网公司百度、阿里巴巴、奇虎、人人，到美国一线公司Facebook、Google、Linkedin、Twitter、Ama ...

大数据工具比较-R语言和Spark谁更强

2016-02-20

大数据工具比较-R语言和Spark谁更强 现如今的大数据工具真是多，在数据分析师工作中，使用哪些工具更加合适呢，r语言和Spark机器学习那个中有市场率更高些，那个在运算中更快更强些呢？ Spark的机器学习库 ...

sparkSQL是什么，如何理解？

2020-08-11

一、sparkSQL简介 1.sparkSQL定义 sparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.sparkSQL来源 要想了解sparkSQL来源， ...

量化研究如何“知其然知其所以然，知其然知其何以用”

2020-07-22

说量化研究难， “知其然知其所以然，知其然知其何以用” 7月25-27日三天 经管之家学术研讨会 特邀请量化研究大师和当红社会定量分析名师王存同教授 带我们从线性回归走向因果推断！ 因果推 ...

2020年因果推断专题讨论会从线性回归走向因果推断

2020-06-23

因果推断(causalinference)，缘起人类的本能或经常自发提出的一个简单问题：为什么(why)?事实上，作为科学研究的核心与宗旨——因果推断就是关于此问题的严肃思考、科学验证或因果分析(causal analysis)。目前，因 ...

加快python算法的四个方法：Dask篇

2020-06-08

CDA数据分析师 出品 相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已，接下来我们围绕四个方法来帮助大家加快一下python的计算时间，减少大家在算法上的等待 ...