热线电话：13121318867

登录
热搜话题:
ai长文生成
Scikit-learn
Python
大数据
数据分析师
统计学
微积分
线性代数
Excel
Power BI
R语言
SPSS
Mysql
快速发帖
我要提问
最新
热门
关注
推荐
问答
gracejpw1117
flume中有几种可监控文件或目录的source
flume中有三种可监控文件或目录的source，分别是Exec Source、Spooling Directory Source和Taildir Source。Taildir Source是1.7版本的新特性，综合了Spooling Directory Source和Exec Source的优点。使用场景如下：Exec SourceExec Source可通过tail -f命令去tail住一个文
19.5520
3
0
关注作者
收藏
gracejpw1117
Flume常用source类型
flume流动模型Flume常用source类型1、Avro 类型的Source：监听Avro 端口来接收外部avro客户端的事件流。avro-source接收到的是经过avro序列化后的数据，然后 反序列化数据继续传输。所以，源数据必须是经过avro序列化后的数据。利用 Avro source可以实现多级流动、扇出流、扇入流等效果。接收通过flume提供的avro客户端发送的日志信息。是flum
19.5520
2
0
关注作者
收藏
gracejpw1117
Hive 时间戳和日期相互转换 from_unixtime和unix_timestamp
Hive 时间戳和日期相互转换：from_unixtime和unix_timestamp时间戳转日期select distinct from_unixtime(1441565203,‘yyyy/MM/dd HH:mm:ss’) from test_date;日期转时间戳select distinct unix_timestamp(‘20111207 13:01:03’) from test_dat
0.0570
4
0
关注作者
收藏
永洪科技
数据分析如何用好高可用？Naming双活必须掌握！
在之前的文章中，我们有做过永洪对数据的加工和处理的方法和介绍，这次我们来学习一下永洪产品高可用的配置设计方案。在使用永洪产品过程中，可能会遇到服务器断电、网络质量差、服务器宕机等突发问题，结果使集群中的节点失效，从而影响到永洪BI的正常使用，导致无法正常的查看、分析数据，为了解决如此问题，永洪也完善并支持服务的高可用场景。永洪如何实现产品的高可用呢，答案是Naming双活，也就是部署两个N节点，通
19.6859
0
0
关注作者
收藏
gracejpw1117
什么是CAP法则？Zookeeper符合了这个法则的哪两个？
CAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。Zookeeper符合强一致性、高可用性。
19.6355
1
0
关注作者
收藏
gracejpw1117
ZooKeeper常用命令
查看目录ls[zk: localhost:2181(CONNECTED) 3] ls /[jodis, zk, zookeeper, codis, codis3, worker_id_forever]创建目录create[zk: localhost:2181(CONNECTED) 4] create /zk_test hanchao_testCreated /zk_test获取数据get[zk:
19.6162
1
0
关注作者
收藏
gracejpw1117
Zookeeper选举机制及部署台数
半数机制：2n+1，部署奇数台。10台服务器：3台20台服务器：5台100台服务器：11台ZK部署台数多的好处：提高可靠性；坏处：影响通信延时
36.8472
1
0
关注作者
收藏
gracejpw1117
30台机器，跑mr任务的时候发现5个map任务全都分配到了同一台机器上
集群有30台机器，跑mr任务的时候发现5个map任务全都分配到了同一台机器上，这个可能是由于什么原因导致的吗？解决方案：yarn.scheduler.fair.assignmultiple 这个参数 默认是开的，需要关掉。将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false，或者手动设定yarn.scheduler.fair.max.assign
19.6162
3
0
关注作者
收藏
张敏玉
MySQL 客户端操作和在cmd 中 操作有什么区别呢？
有什么区别呢？ 哪个更方便一些
19.6354
2
0
关注作者
收藏
gracejpw1117
MapReduce解决数据倾斜的方法
1）提前在map进行combine，减少传输的数据量在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。2）导致数据倾斜的key 大量分布在不同的mapper（1）局部聚合加全局聚合。第一次在
29.7303
2
0
关注作者
收藏
gracejpw1117
Hadoop宕机的处理方法
1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）2）如果写入文件过快造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。例如，可以调整Flume每批次拉取数据量的大小参数batchs
55.7677
1
0
关注作者
收藏
gracejpw1117
Hadoop集群的基准测试
搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。应用举例：cd /root/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 # 运行pi(3.14159
29.4740
1
0
关注作者
收藏
gracejpw1117
Yarn调度器
1）Hadoop调度器重要分为三类：FIFO 、CS(Capacity Scheduler)（容量调度器）和FS(Fair Sceduler)（公平调度器）。Apache默认的资源调度器是容量调度器CS；CDH默认的资源调度器是公平调度器FS。2）区别：FIFO调度器：支持单队列 、先进先出,生产环境不会用。CS容量调度器：支持多队列，保证先进入的任务优先执行。FS公平调度器：支持多队列，保证每个
29.5565
2
0
关注作者
收藏
gracejpw1117
图解Yarn工作流程
图解Yarn工作流程如下：MR(MapReduce)程序提交到客户端所在的节点>>YarnRunner向RM(ResourceManager)申请一个Application>>RM返回Application资源提交路径hdfs://…./.staging以及application_id给YarnRunner>>YarnRunner提交job运行所需资源给HDFS>>YarnRunner资源提交完毕
29.4284
2
0
关注作者
收藏
HENRYGAN
人大的CDA数据分析师培训以及考试怎么样？
人大经济论坛里的CDA培训以及考试怎么样？课程的使用程度以及认证的含金量怎么样？
34.3964
0
0
关注作者
收藏
我是大魔王哈哈
怎样关闭Hive版本自动检测功能
我们可以在hive的conf目录下修改hvie-site.xml文件，从而关闭版本验证在hvie-site.xml文件中添加如下内容： hive.metastore.schema.verification false即可关闭版本验证功能
34.4641
4
0
关注作者
收藏
gracejpw1117
为什么需要数仓分层，如何优雅地设计数仓分层？
1、为什么要分层：· 数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。· 数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。· 各种重复计算，严重浪费了计算资源，需要优化性能。2、怎么分层:从理论上抽象，可以把数据仓库分为下面三个层，即：数据运营层、数据仓库层和数据产品层。· ODS (Operati
34.5114
3
0
关注作者
收藏
gracejpw1117
MapReduce阶段的Shuffle优化
MapReduce的工作流程参加上个帖子《MapReduce详细工作流程图解》，针对MapReduce工作流程的各个阶段，对应的Shuffle优化方法如下：1）Map阶段：（1）增大环形缓冲区大小。由100m扩大到200m（2）增大环形缓冲区溢写的比例。由80%扩大到90%（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）（4）不影响实际业务的前提下，采用Combiner提
34.3496
1
0
关注作者
收藏
gracejpw1117
MapReduce详细工作流程图解
MapReduce详细工作流程图解如下（以Java手写wordCount代码的执行流程为例）:
34.3496
1
0
关注作者
收藏
gracejpw1117
如何解决HDFS的大量小文件问题（续）
（2）采用CombineTextInputFormat（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间： mapreduce.job.
34.3921
1
0
关注作者
收藏
<1…101112…75>
CDA考试动态
考试介绍
考试大纲
考试内容
考试地点
CDA报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
Copyright © 2015-2020, www.pinggu.com All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备18052299号-1