热线电话:13121318867

登录
2019-01-20 阅读量: 862
如何使用Scala初始化spark1.6

如何使用Scala初始化spark1.6?一直使用spark-shell sc都是初始化好的,那怎么用代码一点一点初始化sc呢?

答:sc是spark程序的入口,只有初始化sc一个spark程序才能运行,经典的初始化代码如下:

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object SparkWordCountWithScala {
def main(args: Array[String]): Unit
= {

val conf
= new SparkConf()
/**
* 如果这个参数不设置,默认认为你运行的是集群模式
* 如果设置成local代表运行的是local模式
*/

conf.setMaster(
"local")
//设置任务名

conf.setAppName("WordCount")
//创建SparkCore的程序入口

val sc = new SparkContext(conf)
//创建sc成功

}
}

0.0000
4
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子