大数据平台在互联网行业的应用
本文是对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
大数据显雏形——发展
所有公司在一开始时,数据的建设都是比较落后的,但随着互联网的环境推动,以及公司计划2013年在纽约交易所上市,这时候面临一个很大的问题。在上市之前,公司的数据,无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此,我们开始整理数据,做数据报表,花费一年多的时间做数据整理、数据规范,慢慢的大数据的平台有了雏形。
后来公司上市之后,数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。
2015年到2016年这两年,公司将目标投入到数据智能上,建立了一个非常大的系统平台,并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上,我们不仅仅要进行管理销售,还要构建销售能力模型,预测未来业绩。因为在美国市场的股价,更多的是依赖公司未来的发展,公司未来预期决定了公司现在的股价,因此总共的业绩预测非常重要,能够非常精确的3 预测销售更加重要。
大数据平台建设
公司拥有很多的业务数据库,有订单、CRM、合同管理、人力资源等数据库。以往,我们会把这些数据库里的数据做集成,做一个简单的数据仓库,然后根据业务需求,在数据集成的基础上,通过帆软报表建立一个决策系统,做数据展示,提供服务。这个过程的好处是开发成本低,投入成本低,技术架构简单,可以非常快速的在公司内部运行起来。
但是这样的方式随着业务系统的增多,逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大;数据存储能力受限,无法追溯较远的历史数据。二是很多情况下,不同的产品经理和工程师所提的需求是不同的,而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标,由于数据指标定义不一致,存在意义相近重复指标的时候,管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控,这会导致IT部门工作压力较大。
除了以上反映的问题,公司在基于未来发展情况下又呈现了新一轮的现状,并提出了以下需求:
l 业务的多元化发展,公司大量的并购导致集团数据量和数据需求爆发式增长;
l 数据网状流通,基础数据、数据指标缺少统一的元数据管理;
l 为了更好发掘数据价值,提升数据能力、构建标准化数据体系成为当务之急。
大数据平台业务架构
集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理,数据模型的开发以及建立统一的数据标准。第二个是数据开发员,它会对接产品,然后去做一些业务开发。第三个是业务人员,业务人员是运营、销售、市场人员,在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门,他们有很多对于审计包括公司一些非常核心的数据的分析需求,他们会通过独立的数据查询系统实现数据多维度分析。
下图是技术架构,在底层进行数据存储,抓取数据,并将存储层的数据传给处理层,在处理层完成业务计算,形成指标。然后前端通过帆软报表的应用,将数据以业务报表的方式进行图形化展示,并在移动报表APP上进行展示。
除去这个,我们还在管理上做了数据中心的建设规范。然后是数据质量管理,包括确保数据的准确性,为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。
大数据可视化
数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面,由于我们
1、需求来源多:团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门,且各个部门关注的指标千差万别。
2、报表可视化方式多:需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求,还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。
3、自定义开发多:为了对接公司内部的业务系统,需要经常自定义开发。
所以,需要一个满足这些需求的可视化报表开发工具。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10