部署大数据?请参考大数据分析平台架构_数据分析师
大数据分析处理架构图
数据源: 除该种方法之外,还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构,而特别要说的是流数据,它的核心就是数据的连续性和快速分析性;
计算层: 内存计算中的Spark是UC Berkeley的最新作品,思路是利用集群中的所有内存将要处理的数据加载其中,省掉很多I/O开销和硬盘拖累,从而加快计算。而Impala思想来源于Google Dremel,充分利用分布式的集群和高效存储方式来加快大数据集上的查询速度,这也就是我上面说到的近似实时查询;底层的文件系统当然是HDFS独大,也就是Hadoop的底层存储,现在大数据的技术除了微软系的意外,基本都是HDFS作为底层的存储技术。上层的YARN就是MapReduce的第二版,和在一起就是Hadoop最新版本。基于之上的应用有Hive,Pig Latin,这两个是利用了SQL的思想来查询Hadoop上的数据。
关键: 利用大数据做决策支持。R可以帮你在大数据上做统计分析,利用R语言和框架可以实现很专业的统计分析功能,并且能利用图形的方式展现;而Mahout就是一个集数据挖掘、决策支持等算法于一身的工具,其中包含的都是基于Hadoop来实现的经典算法,拿这个作为数据分析的核心算法集来参考还是很好的。
如此一个决策支持系统要怎么展现呢?其实这个和数据挖掘过程中的展现一样,无非就是通过表格和图标图形来进行展示,其实一份分类详细、颜色艳丽、数据权威的数据图标报告就是呈现给客户的最好方式!至于用什么工具来实现,有两个是最好的数据展现工具,Tableau和Pentaho,利用他们最为数据展现层绝对是最好的选择。
支持下一代企业计算关键技术的大数据处理平台:包括计算引擎、开发工具、管理工具及数据服务。计算引擎是AE的核心部分,提供支持从多数据源的异构数据进行实时数据集成、提供分布式环境下的消息总线、通过Service Gateway能够与第三方系统进行服务整合访问;设计了一个分布式计算框架,可以处理结构化和非结构化数据,并提供内存计算、规划计算、数据挖掘、流计算等各种企业计算服务。Data Studio包括了数据建模、开发、测试等集成开发环境。管理工具包括了实施、客户化及系统管理类工具。AE平台还可以通过UAP开发者社区提供丰富的数据服务。
AE架构图
新规划将BAP平台拆分为两部分,底层技术平台发展内存计算和数据处理,上层BI展现端重点发展仪表盘、web和移动设备展现。
两大产品通过数据处理接口和嵌入式应用服务于业务系统。
生态系统图
大数据处理平台担负着为BI系统提供语义层/OLAP引擎等底层技术支撑、BI及ERP系统的性能提升、以及数据挖掘、非结构化数据处理等系列数据整合与处理的解决方案。
具体模块包括:
语义层:为统一的查询建模平台和数据访问接口。除提供标准的查询建模能力外,还有语义驱动、语义规则、语义函数、描述器等等扩展方式,满足不同层面的扩展要求。
OLAP引擎:OLAP引擎提供全面的多维建模与分析能力。多维模型包括维度、层次、级别、属性、指标、计算成员等;同时预置系列分析函数,包括同比/环比/期比/基比等时间序列分析、占比/排名/方差等统计分析、指数回归和线性回归分析等;提供标准的MDX解析与执行,与数据仓库等模块结合,提供针对海量数据的实时分析和处理能力。
数据集成:能够胜任在大数据量、高并发、多维分析等环境背景下的实时分析。通过实时数据集成(RDI)提供的数据实时复制与DW的列式存储引擎,解决了以往在传统架构模式下,普通行式存储引擎无法实现的业务场景。
数据挖掘:支持运行于分布式文件系统和分布式计算平台之上的分布式数据挖掘算法,具体包括:逻辑斯特回归、朴素贝叶斯分类算法及其分布式实现;K均值、谱聚类算法及其分布式实现;潜在狄利克雷分配语义挖掘算法及其分布式实现;频繁模式挖掘分析算法及其分布式实现;协同过滤、概率矩阵分解推荐算法及其分布式实现;提供分布式挖掘算法的统一操作原语和执行引擎。
数据仓库:数据仓库提供针对海量数据进行高效的查询和分析。包括同时支持关系数据库、NoSQL数据库、以及分布式文件系统进行数据存储和加载的多存储引擎,基于MapReduce框架针对海量数据的高性能查询和分析,以及MapReduce 框架本身具有的高扩展性和容错性。
非结构化数据管理:非结构化数据不包含内嵌的语义结构描述信息,而信息系统需要结合其“内容”而不仅仅是数据本身进行查询、检索、分析与挖掘,因此非结构化数据管理系统需要实现非结构化数据的数据提取,提取的非结构化数据是进行后续处理的基础,具体包括结构化信息和底层/高层特征的提取两个。非结构化数据提取组件依赖于分布式文件系统和非结构化数据存储提供的原始数据作为数据源数据,依赖于非结构化数据存储来存储提取的元数据或者特征数据,依赖于并行计算框架来分布化执行过程,加快执行速度。
消息总线:包括主数据管理、集中身份管理、应用集成开发环境、集成监控管理等。满足集成平台的应用需求,支持界面集成、信息集成、服务集成、流程集成等集成方式。
分布式计算系统:包括分布式文件系统和分布式计算框架。分布式文件系统以高可靠的容错机制为核心,系统架构包括多元数据服务器、多数据存储服务器、多监管者、多客户端,支持大文件和大数据块的分布式存储与管理;分布式计算框架基于MapReduce与MPI计算模型,提供了一套并行计算框架;并利用物理机以及虚拟机的监控信息,实现对计算资源的合理分配,支持对大量工作任务的灵活切分和分布式调度。
流计算引擎:流计算引擎是为解决系统的实时性和一致性的高要求的实时数据处理框架,具备高可拓展性,能处理高频数据和大规模数据,实时流计算解决方案被应用于实时搜索、高频交易的大数据系统上。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10