大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

詹惠儿

什么是字符串操作？

字符串操作的定义顾名思义，字符串操作包含一系列用于从文本变量中提取信息的函数。在机器学习中，这些功能被广泛用于进行特征工程，即从现有的字符串特征创建新特征。在R中，我们有像stringr and stringi这样的包，它们都加载了所有的字符串操作函数。此外，R还包括几个用于字符串操作的基本函数。这些函数旨在补充正则表达式。字符串操作函数和正则表达式之间的实际差异是

0.0000

0

2

0

关注作者

收藏

詹惠儿

正则表达式是什么？

正则表达式的定义正则表达式（又名正则表达式）是一组模式匹配命令，用于检测大型文本数据中的字符串序列。这些命令旨在匹配文本的族（字母数字，数字，单词），这使得它具有足够的通用性来处理任何文本/字符串类。简而言之，使用正则表达式可以在编写较短代码时获得更多文本数据。例如，假设您从网上抓取了一些数据。数据包含用户的日志时间。您想要提取日志时间。但是，数据很混乱

0.0000

0

3

0

关注作者

收藏

PGC123

np.c_是啥意思？

在网上看代码的时候看到np.c_[......],这个是什么用法呢？np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。np.c_是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。例如：a = np.random.randint(1,high=20,size=(4,5))a## array([[ 8, 16, 3, 13, 4], [16, 1

0.0000

0

4

0

关注作者

收藏

PGC123

“一切皆为对象，一切皆为对象的引用”啥意思？

“一切皆为对象，一切皆为对象的引用”这句话在python中比较重要，啥意思呢？首先在python中所有的具体数据都是对象，比如5就是一个int对象、‘a’是字符串对象，定义一个函数则函数也会是一个可调用的对象。一切皆为对象的引用是指当我们定义一个变量并将一个值赋给这个变量，则此时变量便是该对象的一个引用。a = 5# 5 为整数对象，a则是5这个整数对象的一个引用

0.0000

0

3

0

关注作者

收藏

PGC123

python中的不可变数据类型

python中的数据类型分为可变与不可变两种类型，不可变的有数字、字符串、元组；可变的有列表、字典。不可变对象一旦创建，其值就不可以改变了，不可变对象只能被创建和删除（del或者被‘垃圾回收’）。如果想要对指向不可变数据类型的变量再次赋值，则python解释器会在内存中创建新的对象指向变量而不是改变原来的对象。a = 5print(id(a))#94562099482920a = 6

0.0000

0

10

0

关注作者

收藏

PGC123

pyspark如何创建RDD

PySpark 如何创建RDD呢？PySpark中有两种方法可以创建RDD：1、使用parallelize(...) 通过传入python集合创建，如：list或array。第二个参数可以是分区数。2、也可以引用文件（本地或者外部文件如HDFS等）data_from_file = sc.textFile(path,p_num) ,其中path是文件路径，p_num是分区数。

0.0000

0

5

0

关注作者

收藏

PGC123

Hadoop的MapReduce框架原理

在Hadoop上面进行并行计算需要按照MapReduce计算框架开发代码。MapReduce计算过程主要分为map 、shuffle、reduce三个阶段，其中用户要实现的只有map和reduce两个阶段，其他阶段框架自动完成。Map阶段：当向MapReduce 框架提交一个计算作业时，它首先把计算作业拆分成若干个Map 任务，然后分配到不同的节点上去并行执行，每一个Map 任务处理输入

0.0000

0

1

0

关注作者

收藏

PGC123

RDD分区是什么？

RDD 内部的数据集合在逻辑上和物理上被划分成多个小子集合，这样的每一个子集合我们将其称为分区，分区的个数会决定并行计算的粒度，而每一个分区数值的计算都是在一个单独的任务中进行，因此并行任务的个数，也是由 RDD分区的个数决定的。

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

Python 主要的内置数据类型都有哪些？

内建类型：布尔类型数字字符串列表元组字典集合；输出字符串‘a’的内建方法：print(list(map(lambda x: x * x, [y for y in range(3)])))的输出？

0.0000

0

1

0

关注作者

收藏

詹惠儿

为什么要学数据分析？

数据分析的好处数据分析是一种行之有效的方法，可帮助组织和企业获得所需的信息，从而做出更好的决策，为客户提供服务，并提高生产力和收入。数据分析的好处几乎无法计算，一些最有益的好处包括为您的企业获取正确的信息，从IT部门获得更多价值，创建更有效的营销活动，更好地了解客户，以及等等。a数据分析的挑战但是，现在有如此多的数据可用，数据分析是一项挑战。也即是说，处理和

0.0000

0

6

0

关注作者

收藏

詹惠儿

什么是正则表达式？

定义正则表达式（有时缩写为regexp，regex或re）是用于匹配文本中的模式的工具。python怎么使用在Python中，我们有re模块。正则表达式的应用程序是广泛的，但它们相当复杂，因此在考虑使用正则表达式执行某项任务时，请考虑替代方案，并作为最后的手段来使用正则表达式。一个示例正则表达式是r"^(From|To|Cc).*?python-list@python.org"现在的解释：

0.0000

0

0

0

关注作者

收藏

PGC123

yarn client模式启动pyspark报错

在yarn client 模式下启动pyspark 提示`Yarn application has already exited with state FINISHED!` 错误可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。

0.2830

1

0

0

关注作者

收藏

PGC123

hadoop同时存在新旧两参数怎么处理？

在配置hadoop参数时同样功能有的文档说这么配置有的文档说那样配置，这个怎么区分？MapReduce 在大版本上，经历了 MR1 和 MR on YARN；而小版本则迭代了不计其数次。版本的演进过程中，开发人员发现很多参数的命名不够标准，就对参数名称做了修改；但是为了保证程序的前后兼容，仍然保留了旧参数名称的功能。这样等于是实现同一个功能的参数，就有了新旧两种不同的名称。比如 mapredu

0.0000

0

2

0

关注作者

收藏

PGC123

ODS与EDW的区别是啥呢？

ODS EDW1.使用人员的不同 ODS主要面向营业、渠道等一线生产人员和一线管理人员，为了实现准实时、跨系统的运营细节数据的查询，以获得细粒度的运营数据展现。ODS是可变数据，可以进行增删查改，是介于DB与DW的一种数据存储形态，目的是为了数据仓库的处理和决策系统要求与OLTP系统相隔离，减少决策系统对OLTP系统的性能影响。 EDW主要面向专业分析人员、辅助决策支持人员等，为了实现基于历

0.0000

0

1

0

关注作者

收藏

PGC123

hadoop 各个配置文件作用？

hadoop常用的几个配置文件有：Hadoop-env.sh 、core-site.xml 、YARN-site.xml、mapred-site.xml、hdfs-site.xml。1、hadoop-env.sh是hadoop运行用到的环境变量配置文件2、core-site.xml hadoop core 的配置项，例如HDFS、mapreduce和yarn常用的I/O配置3、YAR

0.0000

0

2

0

关注作者

收藏

PGC123

hadoop本地模式安装配置

1、解压Hadoop压缩文件到用户主目录下tar -zxvf ./Downloads/hadoop-2.7.5.tar.gz #我的安装文件位置./Downloads/hadoop-2.7.5.tar.gz，如果位置不一样需要修改2、将解压后的文件名变为hd275 (不是必须，只是为了让文件目录名字短一些)mv hadoop-2.7.5/ ./hd2753、配置Hadoop环境变量

0.0000

0

1

0

关注作者

收藏

PGC123

如何下载Hadoop？

如何下载Hadoop？Hadoop官网一般都是有最新版本下载链接的，国内如果想下载快一些还是建议使用阿里或者清华的镜像服务器下载吧。清华Hadoop镜像服务器地址：http://mirrors.hust.edu.cn/apache/hadoop/common/这里面有多个版本文件，可根据需要下载源码或者编译好的二进制安装包

0.0000

0

1

0

关注作者

收藏

PGC123

如何设置本地SSH无密码登录？

ssh 无密登录是配置Hadoop集群的基础工作，如果没有这步集群间无法通讯配置本地SSH免密登录：1、首先在本地生成公私钥ssh-keygen -t rsa #生成秘钥对2、将公钥发送到授权文件中cat ./id_rsa.pub >> ~/.ssh/authorized_keys3、测试是否可以免密登录ssh localhost如果不需要输入密码即可进入系统说明配置成功。

46.4498

1

1

0

关注作者

收藏

PGC123

Linux 配置java 环境变量

Linux下配置环境变量可分为三种级别：一、所有用户级的修改修改/etc/profile文件，优点：此种配置时所有用户的shell都有权使用这些环境变量，缺点是：可能会给系统带来安全性问题。用文本编辑器打开/etc/profile，在profile文件末尾加入：export JAVA_HOME=/usr/local/jdk1.8export CLASSPATH=.:$JAVA_H

0.0000

0

4

0

关注作者

收藏

PGC123

Spark中RDD和DataFrame的差异

Spark目前使用的主要数据结构是RDD和DataFrame。RDD是一个原创的概念，而DataFrame是后来引入的。RDD相对灵活。你可以在RDD结构上运行许多类型的转换与计算。然而，因为它太灵活了，所以很难对其执行进行优化。另一方面，DataFrame有一定的固定结构，能利用它来优化DataFrame数据集上的执行。但是，它不具备RDD的优点，主要是没有RDD的灵活性。RDD与DataFra

0.0000

0

4

0

关注作者

收藏

<1…686970…75>

CDA考试动态

CDA报考指南