大数据之路依然还很长,看你怎么走
前段时间做了一次大数据直播课,主要是大数据职业生涯规划的一些内容。第一次做,磕磕绊绊,但总算顺利搞完了。
直播课中有收集到群里朋友的一些问题,并且在直播中进行了观点阐述解答,但是基于时间的关系(只直播了3个小时左右),所以很多问题并没有阐述的很完全。
在这里,我们着重的对一些核心关注的问题进行更全面的分析,以及对直播课中遗漏的一些内容做补充,或许结合直播课的录屏以及这篇文章的内容,会让大数据职业生涯规划这个话题更完善一些。
02
作为大数据领域的从业者,或许对于偏技术类的,诸如大数据开发工程师、数据分析师,俞或者是数据挖掘工程师等岗位已经很熟悉了,但在此之前甚少人会关注偏业务的,比如数据产品经理,大数据售前工程师等这种岗位。
所以,在直播的时候,就有不少朋友提到过类似的问题:
数据产品经理的职业发展路径是怎样的,已经注重锻炼什么核心技能?
偏前端的工作,诸如大数据产品销售、售前等岗位,需要掌握什么知识?
这类问题逐渐被越来越多的人所关注,说明大数据这个点逐渐的被越来越多人所认可,并试图逐渐的将其应用于业务,将其产业化、产品化,这是个可喜的进步。说明,大数据这个东西正在试图标准化与常规化。
在过去,并没有很正经的数据产品经理,或者大数据销售、售前这类岗位之说,但随着其形态以及重要性逐渐被探索,这也是必经的一个过程,说明大数据逐渐往健康良性的状态里转换。
并且,就我个人来说,也在一直有意义的将自己从一个大数据技术人员往大数据产品应用层面去转换,或者不能说转换,最起码需要兼顾大数据产品应用的属性。大数据再怎么神化,终归是要业务落地的!
回归到上面的问题,我们需要如何去调整,来应对大数据产品化的节奏呢?在我认为对数据理解最透彻的应该是早期参与到数据流程处理的人,其实就是大数据工程师们,但是他们离数据产品还隔着业务,所以,他们需要补充大量的业务知识,并试图将两者打通贯穿,从这个角度说,我个人是很推荐一些思维灵活的大数据工程师往大数据产品甚至是售前售后这种偏上层岗位上转。
对于传统的产品经理们来说,在未来,数据一定是驱动力所在(不见BAT都忙着玩数据、说AI么),所以在未来大部分的科技产品中,必然会包含数据以及AI的元素,那么,对于他们来说,理解数据并使数据很好的落地就成了一个可升值的属性。
对于数据产品经理,以及大数据销售、售前售后等岗位的人来说,要习惯以数据的思维去看待业务问题,学会常规的业务数据分析的角度去思考问题,多看多了解大数据的一些典型落地场景,并结合自身的业务,能够把数据和业务的事情说透,基本就差不多了。
更落地的做法是,技术人猿需要更多的与业务人员沟通,尝试通过数据解决业务的瓶颈,加速业务的过程;而对于偏业务的产品以及销售来说,需要了解更多大数据落地的场景,了解数据的基本流转流程、数据的应用模型等。
03
关于大数据与传统领域的关联,同样很多人关注,并涉及到了未来大数据的一个大致发展方向问题。
其实我个人认为,大数据真的要成为一个变革性的东西,一直在互联网圈子里玩是远远不够的,它必须是能够深入到普通人的生活里头的,而不仅仅是偏爱互联网的群体。那么,如何覆盖呢?打通线上与线下的场景,让数据流通起来。这点,不管是腾讯也好、阿里也好,或者是百度也好,都深谙其道!
以支付场景为例,腾讯近两年来一直致力于将手机移动支付“侵入”到我们生活的方面方面,并且甚至不惜与ZF一起联合在各个方面做尝试,并且其他几家同样也在跑马圈地,与各个地方ZF打造智慧城市等项目。
试想一下,你骑个车、打个的、坐个公交地铁、加个油,去个超市,你的各种数据都会通过你的支付入口,流入到线上,进行数据的集成,然后分析挖掘,再反向反馈给你,比如基于你的消费能力、行为、习惯,完善你的资产评估、信用评估,而在未来数据化的信用将是个好东西,意味着很多时候你不再需要证明你的信用。再比如说,基于你的各种出行数据,结合LBS服务,再实时的将线上的服务推送给你,充分体现便捷性。
这就是线上技术往线下侵入,实现数据的全面收集,打造更完善的用户画像,并基于画像提供覆盖线上线下的一体化服务,未来你的生活的方方面面都会发现,更加的便捷了。
除此之外,传统领域必将会被大数据逐渐侵入的另一个原因就是,传感技术的逐渐成熟,导致了各种感应器、传感器的成本直线下降,各种智能终端铺天盖地,这也是线下数据快速集成至线上的重要原因,有了数据,后面的事就简单多了。
一个很落地的疑问是:
大数据在传统行业(非互联网行业)有哪些落地应用?
其实大数据在非互联网领域已经逐渐越来越多的应用了,目前相对比较成熟的,诸如通过传感器收集工业制造环节的所有数据,进而构建数学模型,用于改进工业生产流程,减少次品率,提升生产效率。这就是数据很纯粹的走向线下,并对线下领域带来变化。除此之外,商业选址也是个很成熟的案例了。
目前一些大的品牌连锁店,已经在探索数据的另一个应用。他们不止对购物清单进行分析,还在各个连锁门店安装大量的感应器,来收集客户的门店活动数据,然后通过分析,来进行商品铺陈拜访,格局的设置,商品的搭配各种优化。而那些收集过来的数据是顾客的店内行动轨迹、目光的聚焦点、商品的查看数据,商品柜的挺溜时间等等,各种以前很难去收集的数据。
听起来有点悬,但事实却是是存在,并且越来越多的大型线下传统零售商会走这个路子。只要线下数据能变成线上的虚拟数据,一些场景都可以进行数据化,而未来一定是个高效的社会。
从目前看,其实已经有部分比较偏传统的公司开始涉及数据,但他们面临的最大的挑战是如何进行数据的规整、打通。因为在传统领域很多信息都记录在纸质实体上,所以进行数据线上化是第一步,此外就是他们很多线上系统数据都是孤立的,哪怕是不同部门之间的数据都是孤立的,需要进行打通,使之流转,才能言之分析挖掘。
04
由于现在越来越多公司试图在数据时代真正颠覆之前占得一席之地,所以也早早开启了数据研究使用之路,那么,问题来了,如何完成0到1的过渡阶段呢?
之前很多参与《大数据职业生涯规划直播课》的朋友一些疑惑的点诸如:
针对一个传统企业做大数据顶层规划,帮他们组建大数据团队,制定阶段计划,目标是快速用数据带来业务提升?
初创公司数据团队是否更需要能力更加全面的工程师?
记得很久以前写过一个系列《从0到1构建数据生态系列》,其中就涉及到了不少这块的话题。针对于上面第一个问题,其实不止是传统企业,一般其他企业的过程也一样的。
第一,我们首先需要解决的是,基本数据架构的搭建、并且围绕架构将数据流程的打通,只不过结合传统企业的特点,这一步会走的更艰辛点。在这一步,结合业务实际情况,进行数据平台架构设计,并逐步落地,所以,对于数据架构你需要住够的清晰。此外,这个阶段有个很重要的点就是,不要想过于遥远的事情,但也不能忽略未来,即我们在做平台规划的时候,尽量的满足当前业务数据即可,但依然要留下可扩展的空间,以防未来规模扩大。
第二,在数据流转的基础上,进行数据价值的输出。这点很重要,搭建数据团队的核心目的是数据价值挖掘,但是千万别一上来就想着能从数据里挖金子,不现实,第一步能把数据分析体系搭建起来,把业务数据运营分析结论等做常规输出,脚踏实地,阶段性成果输出这个很重要,这是让别人相信数据是有用的第一步。
第三,在浅层数据价值输出的基础上,你需要让别人相信,数据的价值远不止如此,这个阶段会很难。在无数历史惨痛的案例下,很多数据团队最终无疾而终,都是停留在了上面第二点,一直没有突破,最终产生了数据的价值也就如此而已了,最终导致了数据团队不上不下的地步。其实要突破这个桎梏确实很难,我们需要更深一步了解业务,主动寻找业务与数据的结合点,然后让数据更落地,确实的能帮到业务的提升,不管是从效果还是从效率上。但对于绝大部分团队来说,这些东西都是新的,很难从外界找到可参考的点,这就意味着需要数据团队自己去摸索,依靠自己的能力去推进,去说服别人。从这个角度上来看,这已经是超出了工程师的范畴,多了推广者、布道者的角色身份。所以到了这个阶段,作为数据团队的leader,已经不能满足于技术了,他需要试图挖掘数据更深层的价值,并主动去寻找业务与数据的价值点,然后将想法落地,并最终证明这条路是可行的。
回到第二个问题上,对于初创的数据团队来说,一个资源有限,这就是上面我一直提的,在有限的资源情况下,进行阶段性的成果产出,这很重要。那么,这种情况下,必然是更希望工程师能多面输出,从数据收集到数据处理、到数据存储、分析浅层挖掘。但是,到了中后期,还是希望每个角色的能力能更聚焦,比如有更职业的分析师、算法工程师加入等。
05
再来聊聊,以什么样的最佳姿势进入的话题(好吧,描述有点污,其实说白了就是如何入门)。
实际情况还是蛮多蛮复杂的:
没有任何开发基础,从事大数据开发是否有可能?
大四学生,目前java实习,想往大数据方向发展,是否换实习?如何准备,大数据岗位是否会招募毕业生。
目前从事传统IT领域的运维,想进入大数据行业,该如何着手?
以上是实打实的从上次直播课中收集到学员问题,虽然上次直播中已经有回答,但是这里做一个更详细的分析。
首先,对于一门新起的技术,培训市场永远是最敏锐的,他能在潮流的拐点处巧妙的抓住机会,然后迅速崛起,参考java、安卓等培训市场的发家史。
对于大数据领域,2014左右是培训市场开始大规模切入的时候,除了第一批大数据从业者是自学成才,紧随其后就出现很多从培训流水线走下来的转型工程师,直到今天甚至是未来几年,在学校正规军成型之前,它依然会是主力供血渠道。
其实对于培训市场本身这个事,我没有偏见,毕竟市场是有需求的,而它能解决这部分的问题,没毛病。但是有毛病的是,现在很多培训机构打着大数据培训的幌子、做培训java或者数据库的事。一些培训机构讲师连互联网都没待过、连正式的Hadoop都没有玩过,只是在传统IT领域玩透了数据库,也敢妄称大数据专家,我呸!
其实这就是我想针对这个小节话题描述的第一个观点,想入大数据行业,从培训的渠道走,没啥毛病,但是需要有识别的能力,不要被骗了,你相信一个事,大数据技术最佳的沉淀地一直是互联网,这个不会变的,注意区分java培训、数据库培训与大数据培训的区别,识别不出来就多问多看多学,别乱花这个冤枉钱。
对于第二个问题,比如学生的问题,突然想到了股市的经典术语,最后逃生门。其实对于目前正要毕业的学生来说,要入行趁早,未来数据会有一席之地,这点毋庸置疑。但是从目前的发展态势来看,正规学校毕业的从业者将会越来越多,市场是有饱和性的,当越来越多的资源涌入的时候,就到了岗位福利枯竭的时候,那岂不是又是一个java和移动开发转型的实例?
但现实就是这样的,所以,对于学生同学来说,一个建议就是要入趁早,要么就抓准更未来的一个趋势点,博人之先,但是这个是有风险的,更未来趋势谁也不知道,就比如物联网早在我念书的时候就说要火,这不也磨了这老些年,直到现在智能硬件成本下降才有一丝崛起的可能嘛。
第三,对于那些有一定开发基础的朋友来说,其实就方便很多了,你要相信万法是相同的,无非是有没有接触过而已。有一定基础,比如java、linux等基础,对于大数据开发来说,是有好处的,额外再进行空缺技能点的点亮就行了。
最后,我个人认为并不是所有人都适合从事大数据相关工作的,大数据本身就是一个年轻的领域,这就意味着他会有更少成熟的案例、可供参考的经验,所以需要有探索、创新的精神和思维。所以,真的是需要一定创新精神,以及灵活的思维的,所以,它对于那些更善于解决问题的人可能会更适合点点。
06
不知不觉围绕这几个点说了不少了,希望能够对大家有所帮助,对于那些参加了之前的《大数据职业生涯规划直播课》的同学来说,希望这些东西能够更全面的补充之前的一些遗漏的点。
突然想起上两次有篇文章《那些大数据新手们所关心的》,引起了少数读者的不满,认为我没有实打实的去回答那些罗列的问题,所云非善。扯犊子,我写那篇文章的时候我有说过我是奔着一一解答所列问题去的吗?我只是想通过那些问题,寻找一些问题的共同点并发散那些想法而已。算了拉到不解释了,想看就看,不想看的就当路过,看不懂的也当路过。
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16