热线电话：13121318867

登录
首页精彩阅读常见的大数据架构都有哪些（二）
常见的大数据架构都有哪些（二）
2019-02-17
收藏


我们在上一篇文章中给大家介绍了传统的大数据架构的内容，以及传统大数据架构的优缺点、流式架构和适用场景，如果我们学习大数据的时候一定要掌握这些大数据知识。今天再这篇文章中我们给大家介绍一下大数据架构的其他架构。


首先我们给大家介绍一下流式架构，流式架构在大数据中应用十分广泛，在传统大数据架构的基础上，流式架构非常激进，直接取消了批处理操作，数据全程以数据流的方式进行处理，所以在数据接入端没有了ETL操作，转而替换为数据通道。经过流处理加工后的数据，通过消息中间件以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所以该存储并非发生在数据湖，而是在外围系统。而流式架构的优点十分明显，流式架构的优点就是没有十分麻烦的ETL过程，数据的实效性非常高。当然，流式架构的缺点也是十分明显的，那就是对于流式架构来说，不存在批处理，因此对于数据的重播和历史统计无法很好的支撑。对于离线分析仅仅支撑窗口之内的分析。正因为如此，流式架构的适用场景就是预警，监控，对数据有有效期要求的情况。这些就是流式架构的主要内容。


下面我们给大家说一下Kappa架构，Kappa架构在大数据中是比较常见的，Kappa架构的原理就是在Lambda 的基础上进行了优化，将实时和流部分进行了合并，将数据通道以消息队列进行替代。因此对于Kappa架构来说，依旧以流处理为主，但是数据却在数据湖层面进行了存储，当需要进行离线分析或者再次计算的时候，则将数据湖的数据再次经过消息队列重播一次则可。而Kappa架构的优点就是Kappa架构解决了Lambda架构里面的冗余部分，以数据可重播的超凡脱俗的思想进行了设计，整个架构非常简洁。Kappa架构的缺点就是虽然Kappa架构看起来简洁，但是施难度相对较高，尤其是对于数据重播部分。于是，Kappa架构和Lambda类似，改架构是针对Lambda的优化。使用场景也有很多，和lambda相同。


我们在这篇文章中给大家介绍了大数据架构中的两种，分别是流式架构和Kappa架构，这两个架构在大数据中占据着十分重要的地位，想学习大数据的朋友一定不要错过这两个架构的掌握哟。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

大数据 数据架构 数据湖 ETL

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇常见的大数据架构都有哪些（一）
下一篇常见的大数据架构都有哪些（三）
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询