大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

mapreduce 适合做哪些工作？

mapreduce 适合做哪些工作？目前来说mapreduce的应用场景有哪些？是不是一点用也没了？答：用mapreduce计算框架开发代码难度较高，因此适用于业务变化不是特别大的场景，一套代码可以使用很久。还有一点，mapreduce相较于目前基于内存的计算框架如spark、flink来说他的运算速度比较慢，因此那些对实时性要求不高的场景也可以用。因为对内存要求不高，硬件成本相对来说会低

150.5339

2

3

0

关注作者

收藏

PGC123

Spark中RDD的transformation操作是啥策略

Spark中RDD的transformation操作采用了（）策略？答;spark RDD有两种操作： transformation 与action。其中transformation并不直接计算而是采取延迟策略，只记录rdd的转换依赖，当有action操作时才真正计算处理数据。

2.9470

1

0

0

关注作者

收藏

PGC123

spark是基于什么技术的大数据框架

有道题是这样：spark是基于什么技术的大数据框架？答：spark与hadoop2中的mapreduce计算框架的一个不同之处是spark基于内存来存运算过程的中间结果，这是spark框架运算速度快于mapreduce2的一个原因。

0.0000

0

3

0

关注作者

收藏

PGC123

如何构建图模型

以HDFS上master:9000/ graphdata.txt中的数据创建图，其中sc为SparkContext的实例，graphdata.txt文本格式：121256 132156 GraphX中能够实现上述功能的核心代码为答：val graphhdfs = GraphLoader.edgeListFile(sc,"hdfs://master:9000/graphdata.txt")

0.0000

0

2

0

关注作者

收藏

yzyz345

“ugarchroll”进行滚动预测，数据报错

求助各位大佬：我的数据是上证综指的对数收益率，从1991-1-2到2018-12-18号，我想用“ugarchroll”实现滚动预测，我的模型是ARMA(1,1)-GARCH(1,1)，想分别用第1-500天的收益率数据，预测第501天的参数，并计算出各分位数下的VaR，然后再用2-501天的收益率数据，去预测第502天的参数，并就算各分位数下的VaR，直到预测到2018年12月28日的

371.8940

3

3

0

关注作者

收藏

PGC123

一种sftp 实现文件本地到服务器的上传下载功能

我们连接远程服务器的时候需要做文件传输本地文件上传到服务器或者从服务器下载文件到本地，有什么好用的工具吗？答：我们常用的shell模拟器有xshell ,这款软件可以让我们连接远程主机并操作他，传输文件的功能则相对弱一些。其实我们可以通过lrzsz来强化他的功能。首先需要在虚拟机上安装lrzszsudo apt-get install lrzsz安装完成之后我们就可以用他上传下载文件

167.6514

1

4

0

关注作者

收藏

PGC123

ubuntu16.04 安装语言包、中文输入法

Ubuntu16.04安装完后，并没有中文输入功能。于是搜索网上资料发现都不是那么完整，因此整理汇总如下教程。 ibus输入法Chinese语言包安装首先需要给Ubuntu16.04安装Chinese语言包支持如上图点击其中的Install/Remove Languages…，这个对话框是通过system settings–>Language Support选择弹出来的。然

2.9470

1

1

0

关注作者

收藏

PGC123

Python中函数与方法的区别

有时候调用函数，有时候调用方法，函数与方法的区别是什么？答：方法与函数的区别主要是看谁调用的。通过对象来调用的就是方法，通过类来调用的则是函数。如下图所示：我们常用的print的就是函数。

0.0000

0

3

0

关注作者

收藏

PGC123

Scala为啥没有或者 --运算符呢？

Scala为啥没有或者 --运算符呢？答：与Java或者C 相比，Scala有个显著特征，并没有提供和--操作费，我们需要使用 =1或者 -=1。 Scala里面不区分基本类型与引用类型，所有变量都是引用。因此Int 类型是不可变的，实现操作符的难度非常，然而用处却不是很大，完全可以用 =1或者 -=1代替，因此Scala中没有实现与 --操作符。

0.0000

0

4

0

关注作者

收藏

PGC123

Scala解释器是什么原理？

Scala解释器是什么原理？Scala是一种编译型的语言为啥会有类似python的交互式环境呢？答：python是动态语言，并不需要编译直接通过python解释器一行一行的解释执行。Scala的交互式开发环境看上去与python的很像，但实际上两者原理是不同的。 Scala的解释器本质上并不是解释器，应该叫REPL即读取-求值-打印-循环。我们输入的代码被迅速的编译成字节码然后这段字节码由J

17.6465

1

0

0

关注作者

收藏

PGC123

Scala的类里面如何编写setter与getter方法？

Scala的类里面如何编写setter与getter方法？答：在Scala里面会默认生成一组getter与setter分别是age() 与 age_=() 我们可以定义一个Person类class Person{ var age = 0}调用val xiaoming = new Personprintln(xiaoming.age)xiaoming.age_=(20)pr

0.0000

0

2

0

关注作者

收藏

PGC123

为啥类里面会设置getter 与 setter方法？

为啥类里面会设置getter 与 setter方法？如果将属性设置为public不是更好吗？答：如果一个getter/setter 方法没有定义其它限制条件的时候，功能跟设置public属性相同。但是如果想加一些限制规则的时候，getter/setter方法更灵活。比如一个person类中的age属性，一旦设置好之后每次变更只能变大而不能变小，这符合实际规律。这时必须配置setterp

0.0000

0

2

0

关注作者

收藏

PGC123

Scala代码调用函数可以不用括号？

Scala代码中函数可以跟属性一样调用不加括号？我发现不加括号也可以正常使用，为啥？答：对于一个不含参数的方法，我们调用的时候括号是可以有也可以没有的，但是有参方法不能这样调用。还有如果代码中定义方法的时候没有加括号，则使用的时候必须不能加括号，否则编译不能通过

17.6465

1

1

0

关注作者

收藏

PGC123

Scala 调用包的时候报警告

在编写代码的时候idea 报警告Warning:(2, 24) imported `Counter' is permanently hidden by definition of class Counter in package CLASS__import com.cda.CLASS__.Counter 答：根据警告信息可以发现，你代码中调用的类与你当前文件属于同一个命名空间下，因此不

0.0000

0

4

0

关注作者

收藏

PGC123

如何在idea intelliJ 中添加 jar包？

如何在idea intelliJ 中添加 jar包？答：首先进入file >> Project Structure界面选择 Libraries >> 选择java 最后选取Apply应用。最后可以看到添加的库，我这里添加的是spark的库

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

lattice高水平画图函数的常见选项

aspect 指定每个面板图形的纵横比（高度/宽度）的一个数字col、 pch、 lty、 lwd 分别指定在图中用到的颜色、符号、线类型和线宽度的向量group 分组变量（因子）index.cond 列出展示面板顺序的列表key（或auto.key）支持分组变量中图例的函数layout 指定面板设置（列数和行数）的二元素数值向量。如果需要，可以增加一个元素来表示页面数。我们也可以

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

lattice画图例子

library(lattice)attach(mtcars)gear

0.0000

0

5

0

关注作者

收藏

PGC123

hdfs 的SecondaryNameNode在哪里配置的？

hdfs 的SecondaryNameNode在哪里配置的？如果想在其他节点启动该如何启动？答：SecondaryNameNode是在hdfs-site.xml中配置的dfs.namenode.secondary.http-address参数值 dfs.namenode.secondary.http-address

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

lattice包中的图类型和相应的函数

3D等高线图 contourplot() z~x*y3D水平图 levelplot() z~y*x3D散点图 cloud() z~x*y|A3D线框图 wireframe() z~y*x条形图 barchart() x~A或A~xbwplot() x~A或A~x箱线图点图 dotplot() ~x|A柱状图 histog

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

R里的lattice 包

lattice包提供了用于可视化单变量和多变量数据的一整套图形系统。许多用户转向使用lattice包是因为它能很容易地生成网格图形。网格图形能够展示变量的分布或变量之间的关系，每幅图代表一个或多个变量的各个水平。思考下面的问题：纽约合唱团各声部的歌手身高是如何变化的？lattice包在singer数据集中提供了身高和声部的数据。在下面的代码中：library(lattice)hist

17.6465

1

1

0

关注作者

收藏

<1…666768…75>

CDA考试动态

CDA报考指南