2019-01-20
阅读量:
862
如何使用Scala初始化spark1.6
如何使用Scala初始化spark1.6?一直使用spark-shell sc都是初始化好的,那怎么用代码一点一点初始化sc呢?
答:sc是spark程序的入口,只有初始化sc一个spark程序才能运行,经典的初始化代码如下:
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object SparkWordCountWithScala {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
/**
* 如果这个参数不设置,默认认为你运行的是集群模式
* 如果设置成local代表运行的是local模式
*/
conf.setMaster("local")
//设置任务名
conf.setAppName("WordCount")
//创建SparkCore的程序入口
val sc = new SparkContext(conf)
//创建sc成功
}
}
0.0000
0
4
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
1条评论
0条评论
0条评论