大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

信息安全方向大数据会用到什么东西？

最近有面试，安全方向的，这与大数据的哪些东西有关呢？信息安全主要是能实时的识别有风险的访问来。数据来源一般是网站的访问日志：如ip、访问时间、访问什么内容等信息，这涉及日志的采集需要用到flume kafka的相关知识。对风险的识别应该是实时的，一旦发生立刻做出反应才会降低风险，因此需要实时性高的处理大数据的框架，常用的是storm、以及最近很火的flink等。还要了解机器学习

72.8088

1

2

0

关注作者

收藏

PGC123

数据分析的基本流程是什么？

数据分析主要有那几步呢？数据分析应用的行业场景非常多，因此没有非常标准的流程，具体场景具体职位可能都有所不同。总的来说数据分析大致分6个流程：1、需求分析分析整理需求这部很重要，只有理解了需求才能在对的方向做对的事。2、数据获取根据需求搜集各个渠道数据3、数据清理将各个渠道数据清理、合并4、特征提取结合业务在数据中提取变量、特征5、训练建模将提取特征的

72.8088

1

2

0

关注作者

收藏

PGC123

标准方程法与梯度下降法的区别

这两个方法都是旨在获取使代价函数值最小的参数θ，两个方法各有优缺点：1、梯度下降算法优点：当训练集很大的时候（百万级），速度很快。缺点：需要调试出合适的学习速率α、需要多次迭代、特征值数量级不一致时需要特征缩放。2、标准方程法优点：不需要α、不需要迭代、不需要特征缩放，直接解出结果。缺点：运算量大，当训练集很大时速度非常慢。因此，当训练集很大

17.3451

1

3

0

关注作者

收藏

PGC123

mysql 1175错误，怎么解决？

用mysql workbench 更新一个表的时候报如下异常：使用安全更新模式的时候update语句必须使用一个关键字列属性来限定更新的范围。如果不使用关键字列来限定范围或更新所有记录的时候就不能用安全更新模式。解决办法是执行以下语句设置为非安全更新模式.SET SQL_SAFE_UPDATES=0;

0.0000

0

1

0

关注作者

收藏

PGC123

mysql加载数据报错

向MySQL加载数据时报错，是因为版本不兼容吗？a通过报错信息发现加载数据的代码有问题，正常MySQL加载本地数据语法如下：load data local infile 'D:/data/t2.csv' into table t2 fields terminated by ',' ignore 1 lines; 这个报错是因为没有加local关键字，如果指

0.0000

0

0

0

关注作者

收藏

PGC123

pandas如何替换dataframe中的字符

pandas如何替换dataframe中的字符？我有个数据，里面有缺失值用'\N'替代了，如何将'\N'变为缺失值？pandas中的缺失值用numpy的nan来代替，但是他是浮点型的因此需要首先将dataframe的数据转换为字符型然后再替换，不然数据中的整形会变为浮点型。在pandas中整体替换dataframe可以使用dataframe的自带函数replace或者高级函数apply_

0.0000

0

0

0

关注作者

收藏

PGC123

SQL与MySQL的区别？

SQL与mysql之间有区别吧？从本质上来说两者完全不是同一个物种，SQL是一种标准化的结构化查询语句，而MySQL属于数据库管理系统，是用来存储管理数据的系统软件，他们有着本质的区别。数据库管理系统还有Oracle、SQLserver等，这些都兼容SQL语句。

0.1902

1

1

0

关注作者

收藏

PGC123

sorted函数key参数怎么用？

sorted(iterable, /, *, key=None, reverse=False)，这个key怎么用？sorted函数是用来排序的，key的用法比较高级，当自己定义一个函数时排序规则是根据iterable的每个元素经函数处理后的返回值大小来排序的，升序降序则是由参数reverse决定的，默认是False 生序排序。举个栗子：一个列表是lst = [1,2,3,4,5,6,7] ,

0.0000

0

1

0

关注作者

收藏

PGC123

pandas中日期字符串怎么变时间？

遇到一个数据，里面都是字符串类型的时间数据，怎么变成时间类型并且与当前时刻做差？1、字符串转时间from datetime import datetime #使用datetime.strptime将字符串转换为datetime类型date = ['2018-10-21','2018-10-22'] datetime2 = [datetime.strptime(x,'%Y-%m-%d')

0.0000

0

3

0

关注作者

收藏

PGC123

python的map/reduce函数

python 的map与reduce函数怎么用？跟Hadoop的mapreduce框架有关系吗？python的map与reduce 与 Hadoop的mapreduce的思想是一样的都是参照了谷歌的mapreduce论文思想。1、map()函数map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。

0.0000

0

1

0

关注作者

收藏

PGC123

左连接右连接内连接？啥没看懂

按照连接条件合并两个表，返回满足条件的行。SELECT FROM AINNER JOIN B ON A.Key = B.Key; 左连接：结果中除了包括满足连接条件的行外，还包括左表的所有行SELECT FROM ALEFT JOIN B ON A.Key = B.Key; 右连接：结果中除了包括满足连接条件的

0.0000

0

2

0

关注作者

收藏

PGC123

数据库与数据仓库的区别

招聘信息上有时会对数据库技术有要求，有时还要求会数据仓库，这俩有啥区别？要想区分这两我们首先要知道什么叫事务性处理，什么叫分析型处理？事务性处理：指对数据库联机的日常操作，通常是对一个或者一组记录的查询修改，例如火车票系统、购物网站系统等。这些系统有个共同特点：要求相应用户速度快、对数据的安全性、完整性以及事物吞吐量要求很高。分析性处理：指对数据的分析查询操作，通常是对海量的历史数据查

0.0000

0

2

0

关注作者

收藏

PGC123

yield 怎么用？

看别人代码时看到yield,这关键字是干啥的？yield是python中比较高级的用法，用来构造生成器：generator 。什么是生成器？创建一个包含百万个元素的列表，占用很大的存储空间，而且后面的元素有可能不经常用到。生成器不是马上构建出所有元素，而是根据公式推算出下一个元素，用到哪算到哪，如果元素很多时这样很节省内存空间。如果一个函数定义中包含yield关键字，那么这个函数就不

0.0000

0

3

0

关注作者

收藏

PGC123

python中同步迭代索引和索引对应值的函数是？

遇到一个python题目，python中同步迭代索引和索引对应值的函数是？描述enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。语法以下是 enumerate() 方法的语法:enumerate(sequence, [start=0])参数sequence -- 一个序列、迭代器或其他

0.0000

0

0

0

关注作者

收藏

PGC123

pandas中怎么对数据框进行拼接？

由于需要整合两份不同的数据，所以需要使用数据合并的方法。在这之前，一直使用R来对数据框进行操作,python怎么操作？python中的数据框是pandas中的dataframe数据类型、跟R中的很像。首先如果要使用pandas库中的函数，在python的前面需要载入这个库：import pandas as pdpandas拼接数据框有三个方法1、append比较常用方便快捷的拼

0.0000

0

3

0

关注作者

收藏

PGC123

python的sorted函数

排序也是在程序中经常用到的算法。无论使用冒泡排序还是快速排序，排序的核心是比较两个元素的大小。如果是数字，我们可以直接比较，但如果是字符串或者两个dict呢？直接比较数学上的大小是没有意义的，因此，比较的过程必须通过函数抽象出来。Python内置的sorted()函数就可以对list进行排序：>>> sorted([36, 5, -12, 9, -21])[-21, -12, 5, 9, 3

0.0000

0

4

0

关注作者

收藏

PGC123

Python的filter函数用法

Python内建的filter()函数用于过滤序列。filter()接收一个函数和一个序列，把传入的函数依次作用于每个元素，然后根据返回值是True还是False决定保留还是丢弃该元素。例如，在一个list中，删掉偶数，只保留奇数，可以这么写：def is_onumb(n): return n % 2 == 1list(filter(is_odd, [1, 2, 3, 4, 5,

0.0000

0

3

0

关注作者

收藏

PGC123

lambda函数的使用

在Python语言中除了可以用def语句定义函数外，还可以使用匿名函数lambda。lambda 函数是一种快速定义单行的最小函数。有时我们需要一个函数，又不想动脑筋去想名字，就可以使用匿名函数。Python中Lambda函数定义的语法如下：lambda [parameter_list]: expression关键字lambda表示匿名函数，冒号前面的parameter_list表

0.1902

1

3

0

关注作者

收藏

PGC123

n步能到达顶端。每次可以爬一步或两步，有多少方法？

python编程你正在爬楼梯的情况。需要n个步骤才能到达顶端。每次你可以爬上1或2步。有多少种不同的方法可以爬到顶端？完全没思路，这个要怎么做？首先可以假设有y种爬到顶端的方法，则 y与n之间存在一种函数映射 y = f(n) 已知当 n = 1 则 y = 1当 n = 2 则 y = 2当 n>2时第一步骤可以是走一步或者两步。当第一步骤走一步时有f(n

0.0000

0

1

0

关注作者

收藏

PGC123

python面向对象编程self的用法

在代码里面看到self,self的用法是啥？首先这个问题要从python面向对象的编程模式说起，这里有两个重要概念是类和对象类（英语：class）是一种面向对象计算机编程语言的构造，是创建对象的蓝图，描述了所创建的对象共同的属性和方法。对象是类的实例，类是对象的模板。类中的self类的方法与普通的函数只有一个特别的区别——它们必须有一个额外的第一个参数名称, 按照惯例它的名称是

0.0000

0

1

0

关注作者

收藏

<1…707172…75>

CDA考试动态

CDA报考指南