大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

我是大魔王哈哈

在Zeppelin中怎么上传文件？

在浏览器中打开Zeppelin之后，点击 import note选项，如上图所示：之后点击Select JSON File选项就可以上传文件了，如下图所示：

29.2503

2

0

0

关注作者

收藏

Zxmzxm11

数理统计的一些总结

本篇目录一、基本符号表二、数据的分类三、统计方法之描述性分析方法四、统计方法之推断性分析方法I、各类分布II、估计III、假设检验IV. 列联分析V. 方差分析VI. 相关分析VII. 回归分析统计学是一门收集、处理、分析、解释数据并从中得出结论的科学。一、基本符号表符号含义X总体（随机变量，可带分布）Xi样本（随机变量，可带分布，可组成统计量）xi样本实际观测值（实数）μ总体均值π总体比例σ

39.8670

2

0

0

关注作者

收藏

永洪科技

一季度营业收入同比下降70%，从数据里读懂电影行业艰难复苏历程

7月16日，国家电影局发布通知，宣布低风险地区电影院可于7月20日有序恢复开放。在通知发出的一小时内，“电影院”的搜索热度飙升了1011%。告别半年的“冰封”状态，7月20日，第一批符合复工条件的电影院率先开门，24日，北京地区的电影院也恢复了营业。随着“零点场”回归和多部国内外电影相继定档，电影市场逐渐热闹了起来，但也有一些影院，刚刚开放又面临暂停。一周多的时间里，全国影院复工进程如何？还能回到

74.7315

3

4

0

关注作者

收藏

我是大魔王哈哈

在浏览器上无法访问zeppelin

我们先查看是否启动了zeppelin服务，如下图所示我们并没有启动zeppelin服务解决方法：先启动Hadoop：start-all.sh 再启动zeppelin: zeppelin-daemon.sh start我们可以看到在浏览器上已经可以访问到zeppelin了

30.7919

5

0

0

关注作者

收藏

永洪科技

武汉众邦银行的数字化升级秘诀：让每个业务⼈员都能自助式分析查询

大数据的发展已经在多个层面推进金融机构的业务模式不断发生改变。比如，在金融产品的营销设计、风险控制、扩展服务半径等方面，大数据都深刻改变了金融机构的经营模式，有效降低了成本、提高了效率。当前，银行业数据迅速膨胀并呈现出指数级增长的态势，对银行IT系统提出挑战的同时，也为银行业务智能化、场景化、多样化发展提供了数据支撑。武汉众邦银行成立3年的时间，业务实现了快速发展。目前，总资产超过了600亿元，服

28.6412

5

5

0

关注作者

收藏

永洪科技

数据分析精华经验分享，看看冠军是如何炼成的？

2020年2月21日，由CDA数据分析师联合永洪科技主办的2020年“智慧杯”数据可视化大赛正式启动。在数字化浪潮下，数据分析的重要性已不言而喻。此次比赛得到了广泛关注，众多职场精英和广大高校学子积极参与。历时3个多月，比赛圆满落幕，大赛成绩在7月9日永洪科技线上新品直播大会上隆重揭晓！比赛冠军和前十名已诞生，他们当中，有在校大学生，有刚毕业的职场新人，有零基础的，也有转行做数据分析的。从参赛到结

51.4953

4

1

0

关注作者

收藏

我是大魔王哈哈

怎样在hive命令行中显示出table的列名？

要想在hive的命令行中显示出hive的列名，我们需要在hive-site.xml文件中添加如下配置信息:

41.3722

4

3

0

关注作者

收藏

永洪科技

2020高考志愿填报：去哪个城市？选什么专业？挑哪个学校？大数据分析告诉你！

2020年的高考已结束，随着各省份高考成绩的陆续公布，高考志愿填报即将开启！高考志愿填报，最基本的就是选择学校与专业，而全国高校3005所，703个专业（本科专业506）该如何正确选择呢？选专业还是选学校也一直是大家争论的话题，学校与专业到底哪个更重要呢？为帮助考生了解报考信息与专业方向，我们以网络相关数据及录取和报考数据为基础，用Yonghong Desktop数据分析工具从城市、学校、专业三方

25.5006

4

2

0

关注作者

收藏

我是大魔王哈哈

简述一下Hive和Mysql的区别

1.查询语言不同：hive是hql语言，mysql是sql语句； 2.数据存储位置不同：hive是把数据存储在hdfs上，而mysql数据是存储在自己的系统中； 3.数据格式：hive数据格式可以用户自定义，mysql有自己的系统定义格式； 4.数据更新：hive不支持数据更新，只可以读，不可以写，而sql支持数据更新； 5.索引：hive没有索引，因此查询数据的时候是通过mapreduce很暴力

26.3330

6

3

0

关注作者

收藏

clbe2x2

算法ols法与梯度下降法、统计法、正则化相比

多元回归中，ols可以处理多个自变量的情况，寻求残差平方和最小化；计算变量的统计量，如均值、标准差、样本量等，依据这些信息就可以直接计算（一元）线性回归的系数；大型的行和列不会写入内存。

36.2958

3

2

0

关注作者

收藏

gracejpw1117

Flume采集数据会丢失吗?（防止数据丢失的机制）

如果是FileChannel不会，Channel存储可以存储在File中，数据传输自身有事务。如果是MemoryChannel有可能丢。

24.9743

3

1

0

关注作者

收藏

gracejpw1117

1）采用Ganglia监控器，监控到flume尝试提交的次数远远大于最终成功的次数，说明flume运行比较差。2）解决办法：（1）自身：增加内存，修改配置文件 flume-env.sh中的参数至4-6g-Xmx与-Xms最好设置一致，减少内存抖动带来的性能影响，如果设置不一致容易导致频繁full GC。（2）外援：增加服务器台数搞活动 618 ->增加服务器->用完之后再减掉日志服务器配置：8-1

70.3649

2

1

0

关注作者

收藏

gracejpw1117

Flume Channel选择器

Channel Selectors，可以让不同的项目日志通过不同的Channel到不同的Sink中去。官方文档上Channel Selectors 有两种类型:Replicating Channel Selector (default)和Multiplexing Channel Selector。这两种Selector的区别是:Replicating 会将source过来的events发往所有ch

70.3029

1

2

0

关注作者

收藏

gracejpw1117

关于Flume拦截器

1）拦截器注意事项项目中自定义了：ETL拦截器。采用拦截器的优缺点：优点，模块化开发和可移植性；缺点，性能会低一些2）自定义拦截器步骤（1）实现 Interceptor（2）重写四个方法Ø initialize 初始化Ø public Event intercept(Event event) 处理单个EventØ public List intercept(List

25.3511

2

2

0

关注作者

收藏

gracejpw1117

Flume的几种常见Sink

1.Logger Sink 记录INFO级别的日志，一般用于调试。必须配置的属性：属性说明： !channel – !type – The component type name, needs to be logger maxBytesToLog 16 Maximum number of byt

24.8504

1

4

0

关注作者

收藏

永洪科技

融合BI+AI，新一代增强型数据分析让制造企业高效解决故障预测分析问题

随着科学技术的迅速发展，制造企业对设备维修从传统的被动维修转变为主动预防性维修。传统的维修方法主要基于已有的维修制度、基于运营中发生的各种故障、基于操作和检修人员的行业经验，在面对产品升级改造、设备从未发生的新故障，人工经验的欠缺等问题就会造成设备的过修或失修，其结果是维护费用的使用效率低，设备非预期的停机时间长，从而导致生产力损失与营运成本上升，也可能产生额外的维修与替换成本，使制造商必须准备许

24.9125

2

4

0

关注作者

收藏

我是大魔王哈哈

hduser is not in the sudoers file

出现如下图中所示错误信息的原因：是因为我们没有给hduser用户赋予sudo权限解决方案：vi /etc/sudoers 找到 root ALL=(ALL) ALL 这行在它的下面添加：hduser ALL=(ALL) ALL 之后保存退出这样hduser用户就有了sudo权限

25.1982

2

0

0

关注作者

收藏

永洪科技

做了这么久数据分析没收获，原来一直在做“伪数据分析”

用数据说话已成为流行语，数据分析能力，俨然已经成为互联网人的必备技能。现在各行各业，越来越多的企业都在努力寻求具备数据分析能力的人才和专业数据分析人才，几乎所有的中、高阶产品、运营和市场甚至管理岗位，都对数据分析能力也越来越重视。数据分析的重要性我们已有目共睹，但在日常使用中，我们的数据分析未必是正确的。有不少企业管理者反映，具备业务能力同时又懂数据分析的人才太稀缺了，甚至可以说绝大多数在做“假”

40.1856

4

0

0

关注作者

收藏

永洪科技

企业权限管理系统如何配置？深度解析永洪BI权限管理系统

权限管理系统是每个B端产品都绕不过去的问题，好的权限管理系统具有可以明确企业内不同人员、不同部门的分工，降低操作风险发生概率，便于管理等优势。传统的权限管理往往授权方式单一、维护成本高。永洪BI的权限管理系统，经历了若干版本迭代，具备高度灵活性。管理员可以批量导入用户数据，轻松维护企业组织架构。系统提供了用户授权、分组授权等多种授权方式，同时支持页面化设置数据行级列级权限，可满足不同规模企业的授权

28.0505

4

5

0

关注作者

收藏

gracejpw1117

AI人工智能之自动驾驶中的大数据

实现雄心勃勃的自动驾驶目标的关键所在，是利用分析学和人工智能（AI）的力量，建立自动驾驶系统在实际道路上的反应模式，并利用现实模拟技术来加速开发进程。这意味着数据工程、管理、存储和分析变得比以往任何时候更加重要，要做好以下几点：1、做好准备迎接海量数据的“洗礼”。自动驾驶汽车在进行测试时会产生大量数据，每辆汽车每秒就会产生6～ 8GB的数据。仅仅在2017年，该领域就创造了大约250EB的大数据（

28.4489

3

2

0

关注作者

收藏

<1…678…75>

CDA考试动态

CDA报考指南