大数据时代对传统数据仓库的五点思考
在文思海辉金融商业智能解决方案研讨会上文思海辉副总裁贾丕星表示,文思海辉的商业智能团队已经发展到452人的规模,并且随着国内银行商业智能领域发展,还在逐步完善解决方案和扩大团队。
贾丕星指出,现阶段银行商业体系是基石,把数据做有效的存储,以及好的管理,未来商业智能领域会发展的很好。未来三五年之内这仍然是文思海辉解决方案的核心。
“小数据和大数据在银行业里更多是互为补充而不是替代。小数据比较简单,有比较成熟的技术应对。大数据更多的是理念优先,其一个典型特征是价值密度较低,这也是大数据带来的思考。”
贾丕星认为,银行思考大数据更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行。文思海辉在大数据领域仍然保持和合作伙伴厂商紧密接触。像IBM、BMC、Oracle每一家对大数据的理解其实是有差异的,而且差异非常大。
贾丕星指出了大数据时代针对传统数据仓库的思考,其中包括不要因为大数据扰乱我们的原则、规划、节奏;技术和平台已经不是我们关注的重点;原则和架构在“以不变应万变”中显得尤为重要;正确的方法论、管控的水平决定了质量;引导客户主动的“分析探索”是永恒的话题;
以下为演讲实录:
大家知道文思和海辉是去年年底合并的,从集团研发对我们支持角度来说:第一点祥麟给了我们一个很好的技术规划体系。第二个是智慧金融这个概念,把所有金融事业群解决方案有效整合在一起。形成应对未来银行业务发展很好的体系。从这两个角度来说,给了整个商业智能部这边很大的支持。
今天我讲的是数据仓库的概念。我们这个团队跟大家认识都是从数据仓库这个角度跟大家相识的。我们这个团队一直被认为是业内做商业智能做的比较久,相对来说比较专业的团队。每年我基本都讲第一场,对我来说也是一个很大的挑战。每年都想讲一点我这一年多的新的体会和感受跟大家分享。今天讲什么呢?前段时间我在外面讲的更多的是从小数据角度看大数据,大数据现在提的越来越多,小数据从另外一个角度理解它,它种类比较单一但是业务种类并不单一;第二它量比较小,大数据量可以很大。
大数据的年代里,真正的数据仓库应该如何规划建设?我们今年也有自己更多的思考和体会。讲这个之前,我还是把团队的情况给大家做一个简单回顾。在各位新老客户支持下,我们商业智能团队从去年300多人,现在已经发展到452人的规模。我们跟随着国内银行商业智能领域发展,在逐步完善我们的解决方案和扩大我们的团队。我们团队主要分布在华东、华北、华南三个区域。跟随着客户在成长,我们有越来越多的新的解决方案和原有解决方案的优化在不断的推出。
我们传统的优势就是数据仓库和数据管控,这两个方面会放在今天上午跟大家分享。现阶段银行商业智能体系的基石,还是把数据做有效的存储和更好的管理,这个领域未来三五年之内这仍然是我们解决方案的核心。
团队为什么会有所成长?跟我们自己承接了更多的项目有关。在过去两年,所有业内资产排名前20位银行里,新启动五个数据仓库都是由我们团队承接的。正是有这样好的项目机会让你的团队有成长,解决方案不断的优化。
我今天既看到了特别支持我们的长期的老客户,也看到我们未来有合作机会的新客户。这是我们近期拿下来的国内一个大型股份制银行的数据架构规划和数据仓库规划咨询项目。这个项目有很大的挑战,客户需要对他们管理信息类的系统进行全面的梳理,我们也对过去5年我们的积累进行总结,这是很好的结合。数据仓库只靠一个EDW发挥不了太多的作用,更多的是规划的角度,围绕从数据的产生、交换、存储、使用,由数据转成业务价值的全过程。这个是我们更愿意看到的东西。我们不希望大家理解的BI仅仅是一个平台,存储了企业里面有效、无效所有的信息,这个没意思。有意思是的通过价值体系的打造让它更好的发挥价值。
说到这点,结合今天题目去谈,就是小数据和大数据的概念。我从不觉得大数据是新的有震撼力的东西,但是它确实给我们带来了转变。我个人理解它们两个没有什么所谓替代形成,特别是银行业里面,更多的是互为补充。
从另外一个角度来讲,小数据比较简单,有比较成熟的技术应对它。大数据是多种类型数据的组成,需要使用多种技术对待它。比如说图像、视频、文档。每一个识别和监测它的手段和方法是不一样的。另外大数据更多的是理念优先,它在银行里到底能发挥什么价值?另外大数据我们会说它一个比较典型的特征,它的价值密度很低。那么反回来思考,把大量数据存下来再去做统计分析有意义和价值吗?还是通过实时处理的技术把没价值的东西筛掉,再利用有价值的做结构化的关联分析?这就是大数据给我们带来的思考。
银行思考大数据,更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行?银行获取大数据方式可能跟传统的物联网行业不太一样。银行对待大数据的时候更多的考虑是银行有什么类型的大数据?从银行统计应用角度来说有什么价值?我们是实施商,我们在大数据领域仍然保持跟我们的合作伙伴厂商的紧密接触。我们从去年和前年就开始跟我们合作紧密的像IBM、BMC、Oracle的大数据厂商进行紧密的沟通和跟进。我们看怎么更他们更好的结合去为银行提供更好的服务。但是我们发现每家厂商对大数据的解读其实是有差异的。 比如说EMC的HAWQ技术路线适合银行吗?因为我们知道HDFS底层数据存储和关系数据的底层数据有本质的区别。但是它有它的应用场景,比如互联网和电商类。Teradata的大数据技术路线中重点突出基于MR的Aster,它可能也只是适合一定的场景。所以让我们看到一个特点是百花齐放,大家各有各的发展思路。在原有的基础上在怎么更好的绑定客户,每家策略不一样。 但是银行一定要选择适合自己的。
银行大数据在典型应用场景分析有哪些呢,无非就是三种类型:外部互联网信息、舆情分析;是银行确实能够通过各种手段找到外部的一些信息,互联网的评价、社交媒体和论坛里面的发言,它关注到银行或者关注到了银行客户。这种信息是一种非严谨的获取方式,也是一种特别严谨的决策分析的补充。
银行自身非结构化数据信息:就是银行自身有大量非结构化信息体现在网银和呼叫中心的语音,这些信息是不是大规模的做分析?我建议的方式是尝试。因为传统结构化数据或者分析技术并没有让你在业务决策分析里面发挥到极至。我们一定要做更多的尝试,引导我们去体验大数据的场景。银行自身结构化数据历史归档和查询访问。这三个方面是我们跟银行探讨更多的,大数据在银行的应用场景。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28