大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

291294878

zookeeper的节点数为什么必须是奇数

理由1：根据选举机制(FastLeaderElection算法)：sid最大且被超过集群中超过半数的机器拥护就会成为leader。若集群节点数为偶数的话，以下两种情况无法选出leader： ①整个集群只有2台服务器（注意不是只剩2台，而是集群的总节点数为2） ②整个集群超过半数机器挂掉。理由2：从集群优化配置来看，即:集群的容灾数量=（集群总节点数-1）/2 ①假如集群有5节点，那么

239.1350

2

0

0

关注作者

收藏

PGC123

Mysql不能远程访问，如何设置？

Linux上的mysql不可以远程登录他，这个是怎么回事？MySQL作为一种服务程序，主要是服务远程用户的，因此只需简单几步设置mysql就可以被远程访问了，设置步骤如下：1.编辑mysql的配置文件 vim /etc/mysql/my.cnf 把下面一行注释掉 #bind-address = 127.0.0.1 2.授权从其他的IP可以访问，以root的身份访问在mysq

0.0199

1

1

0

关注作者

收藏

PGC123

Scala程序打包过程报这个错是什么原因？

在使用maven打包Scala程序时报错原因一般是由于Java或者scala环境变量没有配置好，检查环境变量配置是否正确，可以使用echo %JAVA_HOME%等查看Java路径。JAVA_HOME环境变量。它指向jdk的安装目录，Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。 CLASSPATH：是javac编译器

0.0199

1

2

0

关注作者

收藏

PGC123

Scala中有没有for循环递减呢？

Scala跟java语言不一样，没有提供递减功能。scala的循环更像是对一集合按顺序的遍历，想要实现递减功能只需提更改被遍历集合顺序即可。例如：var a = （1 to 10）by 1 toList #生成List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)for(i x>y)) #通过从大到小排序a后再循环 {println

0.0199

1

1

0

关注作者

收藏

PGC123

Scala函数式编程跟面像对像有啥区别？

学习Scala之后对函数式编程和面向对象还是有些模糊，二者有啥区别？函数式编程是一种编程范型，它将电脑运算视为数学上的函数计算，并且避免使用程序状态以及易变对象。函数编程语言最重要的基础是λ演算（lambda calculus）。而且λ演算的函数可以接受函数当作输入（引数）和输出（传出值）。而在面向对象编程是种具有对象概念的程序编程范型，同时也是一种程序开发的方法。它可能包含数据、属性、代

0.0199

1

1

0

关注作者

收藏

PGC123

pandas读取csv错误

pandas读取csv文件报错 OSError: Initializing from file failed，代码如下df = pd.read_csv('处理后的数据.csv')这是由于文件路径中含有中文导致的，有两种处理思路：1、改文件名称为英文或字母 2、通过设置read_csv（）函数中的engine参数来兼容中文路径。engine 参数默认取值为'c'，使用的是C语言的底层

0.0199

1

2

0

关注作者

收藏

291294878

hive报错如下，怎么解决？

Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir}/${system:user.name}解决方案：

0.0000

0

2

0

关注作者

收藏

PGC123

pip安装python包下载失败怎么办

我pip 安装包的时候有如下报错，怎么解决？ Retrying (Retry(total=2, connect=None, read=None, redirect=None)) after connection broken by ‘ReadTimeoutError(“HTTPSConnectionPool(host=’pypi.python.org’, port=443): Read ti

0.0199

1

2

0

关注作者

收藏

291294878

HIVE join的三种方式

1.MapJoinmapJoin的主要意思就是，当连接的两个表是一个比较小的表和一个特别大的表的时候，把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。map端join的优势就是在于没有shuffle。而且在hive1.2.0之后只需设置set hive.auto.convert.join=true;set hive.mapjoin.smalltable.filesi

0.0000

0

1

0

关注作者

收藏

PGC123

conda安装python包下载失败怎么办

conda安装包的时候报错：'Could not connect to https://repo.continuum.io'，说打不开这个网站是咋回事？安装完anaconda之后conda的默认软件镜像服务器不是国内的，而与国外的网站进行通讯的时候并不稳定，因此更改国内的软件镜像服务器是很有必要的事情。这样一来不但稳定下载速度也是会非常快的。查看当前conda添加过哪些镜像服务器：co

0.0199

1

2

0

关注作者

收藏

PGC123

conda 与pip 的区别?

为啥有时候用conda 有时候用pip 来安装包呢？Conda和pip是侧重于不同用户组和使用模式的工具。Conda是一个通用的包管理器，当初设计来管理任何语言的包。所以用来管理python包当然也是绰绰有余，Conda 和 pip 目标并不相同，只有小部分子集有交集有竞争关系：比如python包的安装和环境隔离。pip可以允许你在任何环境中安装python包，而conda允许你在conda

0.2532

2

4

0

关注作者

收藏

PGC123

python 与 anaconda的区别是啥？

Anconda是一个开源的Python发行版本，其包含了conda、Python等软件包，numpy，pandas（数据分析），scipy等科学计算包,而无需再单独下载配置.可以在同一个机器上安装不同的软件版本（python版本）。Anaconda 的下载文件比较大（最新的5.2.0版约 631 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（

0.7199

4

1

0

关注作者

收藏

291294878

linux中wget 、apt-get、yum rpm区别？

wget 是一种下载工具，实现本地下载。 rpm: 软件管理的软件，全称为redhat package management，用于安装卸载 .rpm软件 yum: 是linux系统下的一种软件安装方式，全称为 Yellow dog Updater Modified，基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包。串联

0.0000

0

4

0

关注作者

收藏

PGC123

spark worker进程没启动

为啥启动spark的时候slave节点上的worker进程没有启动呢？首先查看启动时的信息，根据启动信息发现各个节点的启动日志已经生成。查看slave上的日志文件发现如下图所示错误，应该是IP地址错误导致的。再查看slave节点hosts文件发现虚拟机实际IP与hosts文件中IP不符，更改hosts文件即可解决。

115.6891

8

2

0

关注作者

收藏

PGC123

启动Hadoop集群提示slave还在运行

启动Hadoop集群时提示如下信息，这有什么错误吗？这情况是slave节点之前没有被正常关闭造成的，首先在master上执行stop-all.sh关闭所有节点的进程然后再在master节点执行start-all.sh启动hadoop集群即可。

0.7199

4

4

0

关注作者

收藏

PGC123

vmware workstation 无法上网

hadoop搭建好了，网卡我设置的是NAT host only模式的，之前可以用xshell链接，回家后换了个网络环境就不行了，主机不能ping通虚拟机，虚拟机可以ping主机这是啥原因呢？虚拟机软件创建网卡的时候会为主机分配固定的IP地址，当IP与新网络环境不是同一网段时自然是ping不同的，解决方法在网络共享中心===>更改适配器设置找到VMware Network Adapter VMn

0.7199

4

4

0

关注作者

收藏

PGC123

hive Name node is in safe mo

hive安装完成启动时报错 Cannot create directory /tmp/hive. Name node is in safe mode. 答：hadoop集群刚启动30s内HDFS处在安全模式，此时不允许读写操。启动hive会对HDFS进行操作，因此会失败。解决办法是启动hadoop后等待30s再启动hive。

0.7199

4

4

0

关注作者

收藏

PGC123

安装VMware Workstation提示处理器不支持？

电脑安装VMware Workstation错误时错误，报错如下：“此处理器类型不支持安装程序包，请与您的产品供应商联系。” 如果是新购电脑，有些品牌主板默认是不支持CPU虚拟化的，需要到BIOS中去设置允许CPU虚拟化技术。如下图所示将Inter（R）Virtualization Technology改为Enabled即可。（不同品牌电脑BIOS的设置也稍有差别，需要针对自己电脑型号搜

0.7199

4

2

0

关注作者

收藏

PGC123

关于workbench闪退问题补充

当有错误的操作或者导入了错误的sql脚本后，workbench下次启动的时候容易出现崩溃及闪退情况，解决方法呢在 MySQL workbench 闪退这篇帖子中有提过，然而最近发现有小伙伴根据此贴没能解决问题，经分析发现解决方法本身没问题，那问题在哪呢？如下：首先大家找不到此路径 C:\Users\Administrator\AppData\Roaming\MySQL\Workbenc

0.7251

5

2

0

关注作者

收藏

PGC123

在Workbench中update更新数据库1175错误

在执行更新mysql数据库表代码后出现如下报错：Error Code: 1175 You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column 这个错误一般是在批量更新或批量删除时发生。是MySQL Workbench的安全设置。当要执行的SQL语句

0.7199

4

3

0

关注作者

收藏

<1…737475>

CDA考试动态

CDA报考指南