2018-11-02
阅读量:
1330
PySpark与python的关系
Spark 集群中有驱动器（主节点）与工作节点两类计算机，当使用RDD执行PySpark程序时，在PySpark驱动器中 SparkContext 通过Py4j启动一个JVM，所有RDD最初转换都映射为Java中的PythonRDD对象。
一旦这些任务被推送到spark任务节点PythonRDD对象就使用管道启动Python的子进程，发送代码到python中进行处理。
0.0000
0
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论
液冷服务器
2023-10-19
0条评论