sparkSQL是什么，如何理解？-CDA数据分析师官网

sparkSQL是什么，如何理解？

2020-08-11

一、spark SQL简介

spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。

要想了解spark SQL来源，必须要知道Shark。

Shark也就是Hive on Spark，Shark在HiveQL方面重用了Hive里HiveQL的解析、逻辑执行计划、翻译执行计划优化等逻辑，通过Hive中HiveQL解析，把HiveQL翻译成Spark上的RDD操作。Shark的设计导致了两个问题：

(1)执行计划优化完全依赖于Hive，对于添加新的优化策略很是不便;

(2)Spark是线程级并行，而MapReduce是进程级并行。Spark在兼容Hive的实现上存在线程安全问题，因而使得Shark必须使用另外一套独立维护的打了补丁的Hive源码分支;

Spark团队在汲取了shark的优点基础上，重新设计了spark SQL，使spark SQL在数据兼容、性能优化、组件扩展等方面有很大的提升

二、spark SQL特点

1.数据兼容：支持从Hive表、外部数据库(JDBC)、RDD、Parquet 文件、以及JSON 文件中获取数据;

2.组件扩展：SQL 语法解析器、分析器、优化器都能够重新定义;

3.性能优化：内存列存储、动态字节码生成等优化技术，内存缓存数据;

4.多语言支持：Scala、Java、Python;

三、 DataFrame

1.DataFrame让Spark具备了处理大规模结构化数据的能力，比起原有的RDD转化方式，更加简单易用，而且计算能力也有显著提高。

RDD是分布式的Java对象的集合，但是，RDD对于对象内部结构并不可知。

DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息。

Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询。

2.创建DataFrame

import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder().getOrCreate()
//是支持RDDs转换为DataFrames及后续sql操作
import spark.implictis._
val df = spark.read.json("file://usr/local/spark/examples/src/main/resources/people.json")
df.show()
//打印模式信息
df.printSchema()
df.select(df("name"), df("age")+1).show()
//分组聚合
df.groupBy("age").count().show()

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

spark SQL Hive sparkSQL RDD DataFrame

数据分析咨询请扫描二维码

上一篇你需要掌握这3种窗口函数

下一篇手把手教你用echarts实现柱形图的闪烁效果

sparkSQL是什么，如何理解？

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析师报考条件？怎么学？

数据分析自学的学习计划

数据分析相关职业选择

数据挖掘与分析在金融行业的使用

学习数据挖掘需要掌握哪些技能

统计学就业机会都在哪里

企业数字化转型的关键成功因素

爬虫技术在数据分析中的作用

数据分析中的数据可视化技巧

银行数字化用户行为分析

怎样利用数据分析优化营销策略

数据分析行业的就业趋势

如何进行市场数据分析

数据分析与数据挖掘的区别

零基础如何自学数据分析

零基础如何自学数据分析

业务分析师面试常见问题

数据分析自学的有效学习方法

如何使用Excel进行数据分析

怎样搭建数据分析工作流程