热线电话：13121318867

登录
热搜话题:
ai长文生成
Scikit-learn
Python
大数据
数据分析师
统计学
微积分
线性代数
Excel
Power BI
R语言
SPSS
Mysql
快速发帖
我要提问
最新
热门
关注
推荐
问答
gracejpw1117
Flink程序与数据流（DataFlow）
所有的Flink程序都是由三部分组成的： Source 、Transformation和Sink。Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出。在运行时，Flink上运行的程序会被映射成“逻辑数据流”（dataflows），它包含了这三部分。每一个dataflow以一个或多个sources开始以一个或多个sinks结束。dataflow类似于
18.3890
2
0
关注作者
收藏
gracejpw1117
Flink的分层api
最底层级的抽象仅仅提供了有状态流，它将通过过程函数（Process Function）被嵌入到DataStream API中。底层过程函数（Process Function） 与 DataStream API 相集成，使其可以对某些特定的操作进行底层的抽象，它允许用户可以自由地处理来自一个或多个数据流的事件，并使用一致的容错的状态。除此之外，用户可以注册事件时间并处理时间回调，从而使程序可以处理复
18.3890
1
0
关注作者
收藏
gracejpw1117
流与批的世界观
批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。在spark的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。而在flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一
18.3890
2
0
关注作者
收藏
gracejpw1117
事件驱动型(Event-driven)
事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。与之不同的就是SparkStreaming微批次，如图：事件驱动型：
18.3890
1
0
关注作者
收藏
gracejpw1117
初识Flink
“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
0.0145
2
0
关注作者
收藏
gracejpw1117
Flink之Slot
Slot是对TaskManager的内存切分，所有Slot平均分配TaskManager的内存，每个Slot都有自己独立的内存，相互隔离。可以说Slot是Flink中的task的执行器，可以共享，即来自同一个Job的不同Task的Sub-Task（理解为Task的子集就行）进入同一个Slot，而且一个sub-task会以单独的线程来运行。这样一个Slot就可以跑玩一整个pipeline，Slot的
0.0145
4
0
关注作者
收藏
gracejpw1117
大数据平台+离线/实时数仓架构流程图
一张完整的大数据平台+离线/实时数仓架构流程图
18.3890
2
0
关注作者
收藏
gracejpw1117
Flink的JobManagers和TaskManager
与Hadoop、Yarn、Spark与K8S等分布式框架类似，Flink集群的软件架构也是经典的主从（Master/Worker）模式。Flink的主从部分分别为JobManager与TaskManager，两者的本质都是JVM进程，它们的具体职责为JobManagers：负责整个job的生命周期管理，包括资源申请，状态监控，协调、控制的执行过程如处理调度任务、保存checkpoint、容错等。T
0.0145
4
0
关注作者
收藏
指点迷金
刘铭诚：7.9原油利空出尽先涨后跌？现货黄金走势分析附今日操作建议
趋势做反了，要么转换思路跟随，要么就离场观望，不可以再行情创一次新高刚停下来时就马上空，再拉再空，一路空，路路空，这就有点带堵的味道了，真正赚钱的人未必是出手次数最多的人，在堵场，呆的时间越久，出手押注的频率越高，输的概率就越大，交易也是一样，涨跌都想做，看似累小成多，但常在海边走，哪有不湿鞋的道理，铭诚的建议就是看准了一次，尽量减少假设性的交易。因为，交易它不是计件的活，盈利与交易的次数没有必然
32.0260
1
0
关注作者
收藏
gracejpw1117
实时数仓和离线数仓数据架构的联系和区别
从数据架构图来看，实时数仓的数据架构会跟离线数仓有很多类似的地方。比如分层结构；比如说 ODS 、DWD、DWS、ADS，它们命名的模式可能都是一样的。尽管如此，实时数仓和离线数仓还是有很多的区别的。跟离线数仓主要不一样的地方，就是实时数仓的层次更少一些。DWD层以我们目前建设离线数仓的经验来看，数仓的第二层远远不止这么简单，一般都会有一些轻度汇总层这样的概念，其实第二层会包含很多层。ADS层另外
21.2509
2
0
关注作者
收藏
gracejpw1117
离线数仓数据的计算执行周期
大规模的数据往往无法通过一次或一个时间段计算完成，比如我需要统计今年的总收入。那我们不希望把计算压力都集中在最后，要统计数据的时候才把全年数据进行计算。我们要把计算压力分摊开，比如我们如果能提前把每个月的数据计算好，统计年的时候一加就可以了。要用月度或者周数据时候，就把每日算好的数据进行汇总。所以作为离线数据我们计算的单位周期是日。也就是每日进行一次计算，这样当日用户可以查看到截至前一日的数据的计
21.2097
0
0
关注作者
收藏
gracejpw1117
区分数据集市和数据仓库
数据集市：Date Market早在数据仓库诞生之初，一同并存的就有数据集市的概念。狭义上来讲数据集市，可以理解为数据仓库中为用户提供数据支撑的应用层，比如ADS层。广义上，数据集市，所有以主题划分的数据仓库中可供查阅的都可以成为数据集市，包括DWD,DWS,ADS层，甚至包括从hadoop中同步到RDS（关系型数据库服务(Relational Database Service)）的数据都可以成为
21.1955
1
0
关注作者
收藏
gracejpw1117
数仓分层结构图
ODS 层原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。DWD层明细数据层结构和粒度与ods层保持一致，对ods层数据进行清洗(去除空值，脏数据，超过极限范围的数据)，也有公司叫dwi。DWS层服务数据层以dwd为基础，进行轻度汇总。一般聚集到以用户当日，设备当日，商家当日，商品当日等等的粒度。在这层通常会有以某一个维度为线索，组成跨主题的宽表，比如 一个用户的当日的签到
21.1955
2
0
关注作者
收藏
gracejpw1117
为什么要对数仓进行分层
1 把复杂问题简单化将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。2 数据结构清晰每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。3 提高数据的复用性规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。4 隔离原
21.1955
1
0
关注作者
收藏
gracejpw1117
数据仓库的概念
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。分以下几层：ODS（原始数据）：Operation Data StoreDWD(数据清洗/DWI) data warehou
0.0000
3
0
关注作者
收藏
gracejpw1117
数据仓库的输入数据源和输出系统分别是什么？
输入系统：埋点产生的用户行为数据、JavaEE后台产生的业务数据、个别公司有爬虫数据。输出系统：报表系统、用户画像系统、推荐系统
21.1955
1
0
关注作者
收藏
指点迷金
刘铭诚：7.8现货黄金行情预警走势分析|原油EIA预测及今日操作建议
———2020年7月8日黄金行情走势分析———7月7日，旧金山联储主席戴利称，尽管美国5月和6月重新招聘人数激增，但很难恢复所有就业岗位，因此高失业率肯定将持续。美联储官员现在特别担心最近感染病例激增，以及其可能对脆弱的美国经济复苏造成的潜在损害。因此，美国政府不得不做出艰难的选择，比如决定增加哪些税收，削减哪些支出。7月8日亚市盘初，现货黄金守在隔夜创下的近八年高位附近，现报1793.95美元/
0.0711
1
0
关注作者
收藏
gracejpw1117
Flume Channel类型的选择
（1）file channel 数据存储于磁盘，优势：可靠性高；劣势：传输速度低 默认容量：100万event注意：FileChannel可以通过配置dataDirs指向多个路径，每个路径对应不同的硬盘，增大Flume吞吐量。（2）memory channel 数据存储于内存，优势：传输速度快；劣势：可靠性差 默认容量：100
21.2429
1
0
关注作者
收藏
gracejpw1117
Flume拉取数据太慢怎么办
现象描述：采样通道：日志数据 -> flume -> kafka -> flink flume到kafka的数据处理时间是980毫秒；flink的数据处理时间是十几毫秒。解决方法：flume方面：flume数量不够：增加日志服务器以增加并行度；（1）自身：增加内存flume-env.sh 4-6g-Xmx与-Xms最好设置一致，减少内存抖动带来的性能影响，如果设置不一致容易导致频繁fullgc
19.5422
2
0
关注作者
收藏
gracejpw1117
Flume之Taildir Source的特点
Flume Taildir Source的特点如下：（1）断点续传、多目录（2）哪个flume版本产生的？Apache1.7、CDH1.6（3）没有断点续传功能时怎么做的？ 自定义（4）taildir挂了怎么办？ 不会丢数：断点续传 重复数据：（5）怎么处理重复数据？ 不处理：生产环境通常不处理，因为会影响传输效率； 处理： 自身：在taildirs
19.5582
2
0
关注作者
收藏
<1…91011…75>
CDA考试动态
考试介绍
考试大纲
考试内容
考试地点
CDA报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
Copyright © 2015-2020, www.pinggu.com All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备18052299号-1