大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

pip 安装的库不能用

win10下python版本切换pip为python2.7安装的库python3不能用，求解，怎么能自由切换Python版本?答：python3和python2都是使用各自的pip的，python3用pip3 install *进行安装就可以了

66.6535

1

1

0

关注作者

收藏

PGC123

ubuntu上怎么设置默认python？

ubuntu自带python，但是既有python2.7，又有python3.5。但是默认的python命令是python2.7，我要想执行python3.5就必须输入python3。答：shell里执行：sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100sudo update-alt

66.6535

1

0

0

关注作者

收藏

PGC123

NameNode的启动过程是啥？

NameNode的启动过程是啥？答：NameNode的启动过程如下：1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。2）客户端对元数据进行增删改的请求3）namenode记录操作日志，更新滚动日志。4）namenode在内存中对数据进行增删改

0.0000

0

1

0

关注作者

收藏

PGC123

HDFS读数据流程是啥？

HDFS读数据流程是啥？答：读数据流程是这样的：1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。4）客户端以packet为单位接收，先在本地缓存，然后

0.0000

0

2

0

关注作者

收藏

PGC123

HDFS的写数据流程是啥？

HDFS的写数据流程是啥？答：HDFS写数据的流程如下：1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端请求dn1上传数据，dn1收到请求会

0.0000

0

2

0

关注作者

收藏

PGC123

HDFS客户端的权限错误：Permission denied

在创建文件的时候提示Permission denied错误hduser@master:~$ HADOOP_USER_NAME=hive hdfs dfs -mkdir test_usermkdir: Permission denied: user=hive, access=WRITE, inode="/user/hive":hduser:supergroup:drwxr-xr-x答:这是

0.0000

0

3

0

关注作者

收藏

PGC123

如何更改hdfs文件属性？

如何更改hdfs文件属性？答：更改hdfs文件系统与更改Linux文件系统一样，只是命令前面加 - 符号。 -chgrp 、-chmod、-chown：修改文件所属权限#更改文件属性hadoop fs -chmod 666 /hello.txt #更改文件属组hadoop fs -chgrp somegrp hdfs_dir#更改文件拥有者hadoop

0.0000

0

1

0

关注作者

收藏

PGC123

可以在客户端中指定登录hdfs身份吗？

可以在客户端中指定登录hdfs身份吗？答: 在命令行中并不能指定用户，登录身份只能通过宿主操作系统来给出。对类Unix系统来说，用户名等于whoami；组列表等于bash -c groups。不管怎样，用户身份机制对HDFS本身来说只是外部特性。HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。

0.0000

0

5

0

关注作者

收藏

PGC123

向HDFS中的某个文件末尾追加文件方法是啥？

向HDFS中的某个文件末尾追加文件方法是啥？答：向HDFS文件文件尾追加内容可以使用如下的命令：hdfs dfs -appendToFile localfile hdfsfilelocalfile:本地文件hdfsfile:hdfs上的文件

0.0000

0

5

0

关注作者

收藏

PGC123

如何将本地文件剪切到HDFS文件系统中？

如何将本地文件剪切到HDFS文件系统中？答：剪切本地文件到HDFS可以使用如下命令：hadoop fs -moveFromLocal localfile HDFS_dir其中 localfile:本地文件HDFS_dir:HDFS文件系统中的目录

0.0000

0

2

0

关注作者

收藏

PGC123

HDFS中的块是什么作用？

HDFS中的块是什么作用？答：HDFS中的文件在物理上是分块存储（block），HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。

0.0000

0

3

0

关注作者

收藏

PGC123

HDFS中的块是如何设置的？

HDFS中的块如何设置？答：块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M 。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块

0.0000

0

1

0

关注作者

收藏

PGC123

hdfs的框架结构有哪些？都是干啥的？

hdfs的框架结构有哪些？都是干啥的？答：HDFS集群包括，NameNode和DataNode以及Secondary Namenode。1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。2）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。3）Secondary NameNode用来监控HDFS状

0.0000

0

2

0

关注作者

收藏

PGC123

hdfs 的适用场景是什么？

hdfs 的适用场景是什么？答：HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

0.0000

0

3

0

关注作者

收藏

PGC123

答：HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

0.0000

0

1

0

关注作者

收藏

PGC123

在做MySQL大批量导出数据时遇到这样问题

使用MySQL导出数据的时候报错mysql> select * from exit_tran into outfile '1.csv';ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement答：mysql 默认对

0.0000

0

2

0

关注作者

收藏

PGC123

如何将MySQL表格导出为csv文件？

如何将MySQL表格导出为csv文件？答：可以使用如下语法将表table_name中的数据导出到path.csv中select * from table_name into outfile 'path.csv' FIELDS TERMINATED BY ',' ;ERMINATED BY ',' : 这个命令的意思是字段之间使用逗号分隔

0.0000

0

0

0

关注作者

收藏

PGC123

shuffle中的Collect过程怎么理解？

shuffle中的Collect过程怎么理解？答：Collect过程是这样的：每个 Map 任务不断地以对的形式把数据输出到在内存中构造的一个环形数据结构中。使用环形数据结构是为了更有效地使用内存空间，在内存中放置尽可能多的数据。这个数据结构其实就是个字节数组，叫 Kvbuffer，名如其义，但是这里面不光放置了数据，还放置了一些索引数据，给放置索引数据的区域起了一个 Kvme

0.0000

0

4

0

关注作者

收藏

PGC123

spill 过程是怎样的？

mapreduce 的shuffle有个 spill，这个过程是怎样的？答： Spill 过程包括输出、排序、溢写、合并等步骤，如图所示：

0.0000

0

2

0

关注作者

收藏

PGC123

Shuffle过程是啥样？

Shuffle过程是啥样？答：从 Map 输出到 Reduce 输入的整个过程可以广义地称为 Shuffle。 Shuffle 横跨 Map 端和 Reduce 端，在 Map 端包括 Spill 过程，在 Reduce 端包括 copy 和 sort 过程，如图所示：

0.0000

0

3

0

关注作者

收藏

<1…636465…75>

CDA考试动态

CDA报考指南