热线电话：13121318867

登录
首页精彩阅读rdd是什么？关于它的前世今生！
rdd是什么？关于它的前世今生！
2020-05-13
收藏
rdd，英文全称为：Resilient Distributed Dataset，中文简称“弹性分布式数据集”，spark中最基础的抽象数据结构。

RDD具备分区、不可变、并行操作这三个基本特性，表现形式为不可变的分区元素的集合，并且可以在集群中并行操作。

RDD拥有的特性如下：

1、是一个分区的只读记录的集合；
2. 一个具有容错机制的特殊集；
3. 只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建；
4. 可以分布在集群的节点上，以函数式操作集合的方式，进行各种并行操作

另外，每个RDD里都会包括分区信息、依赖关系等等的信息，如下图所示：



a，Partitions
Partitions 就是上面所说的，代表着RDD中数据的逻辑结构。

b，SparkContext
SparkContext是所有Spark功能的入口，可用来创建RDD对象以及在节点中的广播变量等等。

c，SparkConf
SparkConf 是一些配置信息。


d，Partitioner
Partitioner 决定了RDD的分区方式，目前两种主流的分区方式：Hash partioner 和 Range partitioner。

e，Dependencies
Dependencies 也就是依赖关系，记录了该rdd的计算过程。根据每个rdd的分区计算后生成的新的rdd的分区的对应关系，可以分成窄依赖和宽依赖。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

RDD spark

数据分析咨询请扫描二维码

上一篇Mapreduce的主要功能有哪些？
下一篇大数据之HiveSQL安装配置！
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询