spark入门必读：核心概念介绍及常用RDD操作

2020-07-13

作者：肖冠宇 来源：大数据DT(ID：hzdashuju) 内容摘编自《企业大数据处理：Spark、Druid、Flume与Kafka应用实践》 导读：Spark是由加州大学伯克利分校AMP实验室开源的分布式大规模数据处理通用引擎，具 ...

当下大数据发展的 8 个要点

2019-11-04

作者 | 章剑锋 笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写 MapRedu ...

未来 3~5 年内，哪个方向的机器学习人才最紧缺？

2019-09-17

作者 | 紫杉 来源 | Charlotte数据挖掘 前言 我个人认为，在AI这块领域，未来最缺的一是工程能力强的算法人才，过去两年因为刚兴起，所以很多人可能只会调参就能找到工作，但是这两年资 ...

想入门数据科学领域？明确方向更重要

2018-12-18

作者 | Jeremie Harris 翻译 | Mika CDA 数据分析师原创作品，转载需授权   我在一家数据科学培训公司工作。对于学员，我常常给出的建议并不是推荐库或者工具，而是让他们首先明确自己想成 ...

求职 | 一份理想的数据科学家简历中要包括哪些技能？

2018-12-14

作者 | George Liu 翻译 | Mika CDA 数据分析师原创作品，转载需授权   如果你是一名数据科学方面的求职者，你肯定想知道在简历上写些什么才能获得面试的机会；如果你想进入这个领域，你 ...

听说你立志要做数据分析，不如先听听老司机的建议

2018-06-29

听说你立志要做数据分析，不如先听听老司机的建议 每年总有很多人，怀揣着对世界的一知半解、满腔似火的热情、还有对美好生活的向往，走出象牙塔，投身社会。 世界很大，诱惑很多。对于未来，甚至在工作多年 ...

常见的七种Hadoop和Spark项目案例

2018-06-28

常见的七种Hadoop和Spark项目案例 如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。 有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创 ...

想搭好大数据架构，这7个技术是关键

2018-06-19

      企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动 ...

10个最佳的大数据处理编程语言

2018-06-14

在巨大的数据集中进行筛选的最好工具是什么?通过和数据骇客的交流，我们知道了他们用于硬核数据分析最喜欢的语言和工具包。 R语言 在过去的几年时间中，R语言已经成为了数据科学的宠儿——数据科学现在不仅仅 ...

物联网中如何使用大数据

2018-06-04

物联网中如何使用大数据 在瞬息万变的世界中，组织很难赶上不断涌现的新概念。但人们需要区分哪些技术和概念是有用的，哪些只是一种炒作。在数据分析领域，正是大数据引发了这个时代的质疑。而如今，当这个概念 ...

大数据热门词汇汇总

2018-05-21

大数据热门词汇汇总 可以说，大数据是如今IT行业最热门的趋势之一，它催生出了处理大数据的一批全新技术。而新技术带来了新的热门词汇：首字母缩略词、专业术语和产品名称等。连\"大数据\"这个短语本身都让人 ...

数据科学领域的20位杰出女性

2018-04-26

数据科学领域的20位杰出女性 很长一段时间，在科学、技术、工程和数学等领域工作的女性都不受重视和欢迎。比如Katherine Johnson和她的同事们，曾在NASA早期的太空计划中做出了卓越的贡献。但是直到两年前， ...

想搭好大数据架构，这7个技术是关键

2018-04-03

    企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展 ...

超详细的大数据分析师职业规划

2018-03-20

超详细的大数据分析师职业规划 最近有不少同学咨询有关数据分析职业发展的问题，由此可见，随着大数据的飞速发展，数据分析职业也成为很多同学关注的目标。不要急，这就给大家介绍数据分 ...

搭好数据架构，这7个技术是关键

2018-03-14

搭好数据架构，这7个技术是关键 企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足 ...

对互联网海量数据实时计算的理解

2017-12-19

对互联网海量数据实时计算的理解 实时计算的概念 互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一 ...

关于大数据，你应该知道的75个专业术语（二）

2017-11-21

关于大数据，你应该知道的75个专业术语（二） 这篇文章是上篇文章的延续，由于上篇反响热烈，我决定多介绍 50 个相关术语。下面来对上篇文章涵盖的术语做个简短的回顾：算法，分析，描述性分析，预处理分析， ...

这些技术可能会阻碍你在大数据征程上的步伐

2017-11-14

这些技术可能会阻碍你在大数据征程上的步伐 那些技术升级或更换至关重要，这关系到大数据项目获得成功，还是你在今后几年通过行动让大家原谅你的过失。下面是你应该开始考虑更换掉的大数据架构中的一些要素。 ...

大数据时代的赚钱方法

2017-11-07

大数据时代的赚钱方法 大数据这个词，恐怕是近两年IT界炒的最热的词汇之一了，各种论坛、会议，言必谈大数据，“大数据”这个词，在IT界已经成了某果一样的“街机”或者叫“街词”，不跟风说两句“大数据 ...

人们应该知道的大数据术语

2017-10-27

人们应该知道的大数据术语 大数据带来了许多新的术语,但一些术语往往不太好理解。以下是人们应该了解的大数据术语列表： 以下进行一个简短的回顾，以前曾经介绍了算法，分析，描述性分析，预处理分析，预 ...