浅谈以史为鉴与数据分析应用
数据本身就离不开历史,人们总是利用来自于历史的客观数据,进行不断的分析和总结,并以此尽可能的预测未来,作为下一步行动和决策的依据,可以说是“以史为鉴”。
当然了,在没有成熟的数据分析技术和工具的年代,人们都是以读书学习的方式来分析和总结历史经验,这也属于数据分析的一种初级形式。虽然没有当今大数据时代所谓的“海量数据”、“结构化和非结构化数据”,也没有先进、智能化的分析工具以及复杂的量化分析模型,但在本质上笔者认为两者之间并没有太大的区别,甚至我们还能从古人“以史为鉴”的分析和决策案例中看到许多容易被忽略的、值得大家学习的亮点。
有鉴于此,笔者这次就来谈谈以史为鉴和数据分析应用这个话题吧。
中国传统文化中,把学问体系分为了经、史、子、集四部,其中经排在第一位,是理论指导;史排在第二位,是历史经验,反映了在理论指导下的具体实践所产生的历史经验总结,以此作为未来行动的指引和借鉴,这充分体现了历史经验在传统文化体系中的战略地位。而在此后,宋代理学家朱熹讲的“知先行后”、“知行相须”,以及明代心学家王阳明讲的“知行合一”,则提出了“知”与“行”的概念及关系,虽然其角度和关注重点有所不同,但是都强调了理论基础和历史实践经验的重要性。因此,经与史、知与行应可作为数据分析和决策应用的行为准则。此处暂且按下不表,我们还是先来看几个“以史为鉴”的历史实例吧。
毛主席曾经说过,“自古能军无出李世民之右者,其次则朱元璋耳”。唐太宗李世民正是“以史为鉴”的倡导者,其著名的原话就是“以铜为鉴,可正衣冠;以古为鉴,可知兴替”。说到李世民,笔者印象最深刻的有两件事,一是玄武门之变,二是虎牢关之战。
先说玄武门之变,大家都知道这是李世民弑兄弟夺父位的重要政治事变。首先来看事变发生的时间,武德九年六月初一丁巳日(即公元626年6月29日),此时太白金星在白天出现于天空正南方的午位,按照古人的看法,这是“变天”的象征,是当权者更迭的前兆,从天文、历史、政治结合的“大数据”分析角度,这奠定了事变成功的数据基础。然而,其实一开始李世民并没有下定决心,天策府包括长孙无忌在内的幕僚以舜帝的历史数据劝说他,“假如舜帝在疏通水井的时候没有躲过父亲与弟弟在上面填土的毒手,还如何能够让自己恩泽遍及天下?舜帝在遭到父亲用小棒笞打的时候忍受了,而在性命攸关的时刻却毫不犹豫作出正确的选择,这是因为舜帝心里所想的是大事啊。”于是,玄武门之变就这么开始筹备了。六月初三己未日(公元626年7月1日),天文、历史和政治的“大数据”又一次说话了,太白金星再次在白天出现在天空正南方的午位!傅奕秘密上奏道:“金星出现在秦地的分野上,这是秦王应当拥有天下的征兆。”这意味着行动马上就要开始了。当然,李世民也不是傻子,纵观唐朝以前的历史事变,如汉景帝时期的七王之乱、西晋的八王之乱和永嘉之乱、东晋的桓温之乱、南北朝时期的侯景之乱等等,其实历史事变成功的案例并不多,但是还是有些许可以总结的成功经验,那就是“擒贼先擒王”(后世的“解决问题的主要矛盾”也是这个意思),“先斩后奏”(就是生米煮成熟饭,先把事办了再说)以及最重要的“合乎天义”(要给自己找个充分、正义的理由)。李世民的主要矛盾在于太子李建成和齐王李元吉,解决掉他们就可以了,没必要把高祖李渊也带上,反之还要获得他的认可,否则李世民可背不起“弑君弑父”这个在封建社会违背大义的罪名。因此,行动方案也就制定下来了。政变发生时,高祖李渊正在宫内的海池上划船,李世民在玄武门设下埋伏将太子李建成和齐王李元吉双双射杀,再让尉迟恭挟持并告知高祖,“秦王因为太子和齐王作乱,起兵诛杀了他们。秦王殿下担心惊动陛下,故派臣担任警卫。”,这是先来硬的。硬的之后再来软的,安排萧瑀和陈叔达劝说高祖,“建成与元吉嫉妒秦王功劳大、威望高,便一起策划奸邪的阴谋。现在,秦王已经声讨并诛杀了他们,秦王功盖宇宙,天下归心,陛下如果能够决定立他为太子,将国家大事委托于他,就不会再生事端了。”不仅下属如此,李世民也亲自上阵,一见面还没等李渊发话,直接跪伏于高祖的胸前,号啕大哭良久。在此软硬兼施下,高祖只能说:“好!这也是我素来的心愿啊。”,并颁布了传位诏书。看完这个例子,我们不禁感叹,真不愧是唐太宗李世民(这真不是一般人能做到的)!在此例中,虽然天文和政治的大数据和以史为鉴的经验分析起到了一定的作用,但是主要还是靠李世民的决绝、决断以及天策府的执行力。设身处地的想一想,一般人即使有了这些“数据”的支持,难道都能像李世民那样干出、且干成如此惊天动地的事吗?
再说虎牢关之战,这虎牢关也是兵家重地,当年三国的吕布就曾在此镇守,这才成就了演义后的“三英战吕布”,不过其演义的成分比较大,没有确切的历史依据。但李世民的虎牢关之战可是正史记载,实打实的一次“以少胜多”的经典战役。当年,秦王李世民以三千多的兵力,打败了窦建德号称的三十万大军(实际应只有十几万),俘虏五万以上,并生擒了窦建德。很难想象三千多人是怎么俘虏了五万多人的,笔者不自主的想起放羊的场景来(笑)。其实历史上以少胜多的战例虽不很多但也不胜枚举,比如吴起的阴晋之战( 5万对50万)、项羽的巨鹿之战( 2万对40万)和彭城之战(3万对56万)、韩信的井陉之战( 3万对20万)和潍水之战 (数万对20万)、刘秀的昆阳之战(2万对42万)等等,总结这些历史数据,会发现其中的共同点,就是要在自身士气极胜,敌方士气倦怠时发动强有力冲击,挫败对方锐气,让失败和恐慌的气氛在敌军中迅速蔓延,造成敌军恐慌,一旦敌军退却,就会进一步造成恐慌,然后发生指挥系统失灵,各自为战,各自逃命,再冲杀追击之,基本上就搞定了。“以史为鉴”的李世民就是这么做到的,首先他通过一个个小规模战斗,以几百人的兵力挫败敌军,气势上完全压倒对方,让敌人胆寒,还时不时的俘获对方将领,对方是什么动向,营寨位置,主帅在哪儿,战略意图一清二楚。然后,抓住机会,截断敌人粮道,进一步制造恐慌和不安。最后,通过白河牧马,引诱窦建德来攻,来攻则不出战,消耗敌军士气,及至中午,敌军饥渴疲惫时,以泰山压顶之势,倾巢而出,并直扑敌军心脏的主营,一举擒获窦建德,大局定矣!还是那句话,换成各位看官是主帅,有了这些“历史数据”的分析和支持,能否有信心打出这样的经典战役?
其实不论是毛主席眼中用军第一的李世民,还是排在其次的朱元璋(这位“朱老总”也有20万对陈友谅60万水军的鄱阳湖之战,他的儿子朱棣也起兵造反并通过10万对60万的白沟河之战打败建文帝朱允文,直取京城奠定帝位), 笔者在这里想表达的是,数据分析究其本质还是一种方法和工具,即使借助大数据分析技术和复杂的模型计算,输出了精准的分析和预测结果,也仅仅只是供决策者参考和使用。这就好比大侠手中的宝剑,用好了可以天下第一、称霸武林,用的不好反而会误伤了自己(比如七剑中的天瀑剑),而且在武侠小说里还有一种更深层次的境界就是“心中有剑”,像金庸笔下的独孤求败那样,从二十岁用的利剑,到三十岁的软剑、四十岁的重剑,一直练到之后的木剑、直至最后的无剑,这就是用剑的最高境界。那么,大数据分析应用是否最终也能做到“心中有数”(笑)?
再来举几个大家现实生活中普遍会遇到的实际例子吧:
第一个例子。笔者此前在一家大型电信公司的营业网点办理了宽带包年的业务,为什么选择在这家办理呢?刚好那段时间东家正和该公司在谈一个数据方面的合作,公司想通过数据分析来提升业务经营能力,比如老客户维挽、新客户拓展等,笔者想着就先体验一下吧。在填写完相关信息并交完年费后,笔者意识到自己老是容易忘记续费,就特意和营业柜员交待下一年度缴费前记得提前电话或短信通知一下,这位柜员回以标准的笑容并点点头。时光流逝(很遗憾这个合作项目最终没有谈成)。有一次笔者下班回家,刚好有一个紧急的工作邮件要发,于是赶紧打开电脑准备连VPN,不幸的是,相信大家也已经猜到了,宽带当天刚好到期但是笔者又正好忘了续年费,一切就如一年前预想的一般,笔者在没有电话和短信通知的情况下被直接断网了……没办法,打客服电话,客服表示没有办法立刻解决,只能第二天上午去柜台办理后才能开通(注:由于包年业务比较特别,无法买卡充值)。无语。没办法,第二天一大早去柜台排队,好不容易排上了,一如既往还是那么标准的笑容,只不过这次的答复是“对不起,如果现在续年的话,只能从下个月才开始生效”。再次无语。结果大家也可想而知了。事后笔者想,这种客户维挽需要借助大数据分析吗?公司的系统中已经有了客户的联系电话、现有产品的到期日,甚至客户都提前表示过想延续服务只不过希望能提前通知(当然不知道这条客户需求是否有记录在系统中),完全可以提前进行客户维挽,但是结果还是让人失望的。在这种情况下,有了先进的大数据分析技术又能如何?
再举一个例子。如果说上一个例子是有关客户维挽,那么这个例子就是有关客户营销。和大家一样,笔者经常会接到一些营销电话,由于没法判断是否是客户(或潜在客户)的来电,笔者习惯上一般还是都接的。“您好,我们这里是某某公司,请问您对某某产品服务是否感兴趣…”很熟悉的台词吧,相信大家在日常生活中经常都会接到类似的各种推销电话,产品服务从贷款、投资、保险、买房、卖房、旅游等等不一,而且其中不乏有知名的金融机构。营销台词都类似,但是相信大家的反应还是会有所不同。笔者对此的反应一般是“不需要”然后挂电话,即使碰上有兴趣的也会因为是在工作时间而说“现在忙,不方便,之后再说”,当然也没有之后了,因为营销人员一定不会选择在你方便的时间打电话的。要么不打,要么还是在上班时间打给你,毕竟你下班了人家也是要下班的,而且以笔者所处行业的工作强度还真不好说谁的上班时间更长呢(笑)。身边的同事和朋友对此还有其他不同的反应,比如有的会质疑“你是怎么拿到我的电话的?谁给你的?”,这些同事比较关心的是自己的敏感信息如何泄漏。但对方一般是不会告诉你信息来源的,实际上这些客户信息大多是经过了数据交换或购买(此处多为非法交易,这也是最近人民银行和公安部严打的,要求保护客户敏感信息的专项工作,未来有机会笔者可再做专题讨论),部分公司利用这些数据的获取渠道进行了相应分析,比如你在银行办贷款了,证明你有贷款的需求;在房屋中介询价了,也意味着你有买卖房屋的需求,那么通过这些渠道拿到的联系方式就自然会向你推销相关的产品和服务了。还有的同事会说“我不需要,这都第几次了,请你们记录一下,不要再给我打电话了!!”这些同事关心的是以后别再有骚扰电话了。但是,往往还是会收到这样的电话,而且一听还是同一家公司,轮番轰炸。这也充分说明了该公司的客户管理系统或者客户信息管理流程是有问题的,对于客户反馈的信息没有做好充分的系统记录或进行公司内部的信息共享,最终导致客户不满,营销失败。说到这里,笔者想起此前为一家大型银行做过客户信息管理和统一视图建设的项目,其中有一项建议就是要充分记录和客户沟通过程中获得的反馈信息(不论是正面还是负面的)。这里面有很多值得进一步分析的,比如“最佳电话时间”就是能否对笔者进行成功营销的一项重要信息。在给笔者的第一次电话失败后,如果营销人员能记录最佳电话时间为非工作日或下班后,那么下一个营销人员就能参考这些信息,在合适的时间再打电话给笔者,那么只要对公司的产品服务感兴趣,相信营销的成功率可以大大提升。其实这何尝不是数据分析,而且是人脑即可完成的简单、有效的数据分析,不需要借助复杂的智能化系统或分析模型,但是真正能做到、做好这些细节的公司却并不多。
通过这些例子,相信大家不难明白,数据分析是一种手段,要服务于既定的业务目标才有意义,而且还要配有恰当的执行策略以及合理可行的执行方案。否则再好、再先进的数据分析只不过是输出了供决策参考的信息,但如果没有好的决策、行动方案和执行力,数据分析本身解决不了任何问题。
笔者刚好在11月份参加了东家举办的国内金融科技50强颁奖典礼暨论坛,并有幸主持了其中一场有关未来财富管理和投资的圆桌讨论,谈到有关智能投顾(即智能化的投资顾问)的话题。智能投顾也可被称作为机器人投顾、智能理财、自动化理财,利用大数据分析、量化金融模型以及智能化算法,根据投资者的风险承受水平、预期收益目标以及投资风格偏好等要求,运用一系列智能算法、投资组合优化等模型,为用户提供投资参考,并监测市场动态,对资产配置进行自动再平衡,提高资产回报率。应该说,智能投顾是大数据分析的一项重要应用,其本身的发展空间和市场潜力也很大,成为了行业的热点话题,业界也涌现了许多优秀的创业公司从事相关研究工作和市场推广应用。如果问笔者对此的态度,那么可引用某金融集团董事长说过的“积极、冷静”。这两个词特别贴切,首先应该鼓励这样的创新和应用,以积极的态度来面对和推进,但是同时也不要忘了市场的法则和规律,要随时保持冷静。人人都想跑赢市场是不可能的,从另一个角度说,在市场条件下收益往往只属于少数人,在很多时候你的投资决策要逆向而为,与大多数人(特别是普遍投资者)相反,才能获得最终的胜利。相信在这点上,只要有过炒股经验,经历过股市大起大落的股民一定是深有体会的。如果大家都用智能投顾,那么是否意味着大家都能取得预期的投资收益?如果不是,那么最终制胜于市场的要素又是什么?在此,笔者引用圆桌讨论中一位从事智能投顾的金融科技50强企业创始人兼董事长的一句总结词,“对市场要报有敬畏之心”。是啊,市场就如我们生活的大自然一样,如果人类蔑视自然的法则、市场的规律,那么一定会自食其果。同样,在各大企业都积极投身于大数据分析和应用洪流的同时,是否还能够坚守商业运营的本心,不断提高自身的经营管理水平及业务执行能力,真正做到内、外功兼备?
好,说了这么多,大家不禁要问,那你又有什么建议呢?且让我们回过头来再看一下前文中曾提出的“经、史、知、行”,笔者认为此“四字真言”是数据分析和应用成功要素的高度精炼和概括,其本身也形成了一个应用的循环,如下图所示:
1、经。“经”指的就是理论或规律,一切行动都要依据既定的理论或规律,并以此为指导,方能成功。还是以股票市场投资为例,要想尽可能跑得赢市场,投资人还是必须具备一定的理论基础,先不说什么宏观经济学、微观经济学等理论,至少对于K线图、市盈率等基础的股票知识还是要掌握的。当然,仅仅掌握了理论不代表能够获得成功,否则所谓的股评专家也不会经常被股民骂了(笑)。
从数据分析的专业角度看,“经”指的是业务应用场景,即数据分析是为了满足什么业务目标,解决什么业务问题。要想做好数据分析,首先就要了解相关业务运作的本质,这也是为什么数据分析团队仅仅有数据科学家是不够的,往往需要配备精通业务的业务专家方可充分发挥数据分析能力的根本原因。
2、史。“史”指的就是历史数据了,这也是数据分析的基础。如果没有收集一定期间内充分、完整、高质量的历史数据,那么再好的数据分析模型也很难达到预期的效果。这也是为什么有很多金融机构在开展大数据分析和应用后,才切实意识到自身的数据质量问题有多严重,许多重要的数据项都存在缺失的情况,这才想起来需要通过企业级数据治理来提高数据质量,或者购买外部同业数据作为补充等。当然,历史数据的积累以及数据质量的提升亦非一朝一夕的事,难以在短时间内一蹴而就,当企业发现自身的数据基础差而影响分析应用时大多已为时已晚了。在这种情况下,笔者的建议是通过迭代建设的方式,以数据应用为驱动,通过短期速赢的数据分析应用来推动长期的数据治理工作,逐步提升历史数据质量。
3、知。“知”指的是利用“经”和“史”进行“知识提炼”的过程。这里的知识提炼包括两个步骤,第一个步骤就是大家比较熟知的数据建模和分析过程,这是个专业的技术活,笔者在这里就不展开了,大家有兴趣可以看看一些统计学的书籍,有各种的数学统计模型(逻辑回归、神经元等)。但是“知”的第二个步骤往往容易被忽视,即通过数据分析模型的输出结果,进行下一步业务经营决策的知识提炼,并形成最终的管理决策。一般情况下,第一步“知”更多的需要借助电脑,而第二步“知”则更多的需要借助人脑,将电脑输出的结果转化为人为的决策。这也是数据分析和应用最为关键的、也是最难的一个环节!朱熹所说的“知难、行易”虽然不一定正确,却也体现了“知”的重要性和难度。
4、行。“行”指的就是具体的实践和行动了。“行”的一个重要意义就是检验“知”,这也就是大家所熟悉的“实践是检验真理的唯一标准”。前面提到了,朱熹说过“知难、行易”,但是王阳明推翻了这种说法,认为应该是“知行合一”,充分强调了“行”的重要性。确实,在实际的数据分析应用中,“行”也是数据分析人员最难控制的一个方面,因为这些工作往往需要具体的业务人员来推进,而影响业务人员的执行力和执行效果却有许多其他因素,不单单是数据分析可以解决的问题了,就好比笔者前面提到的客户维挽和营销案例。当然,即使如此,我们还是应当通过“行”的执行效果,比对是否达到“经”的业务目标,形成新的历史数据来丰富“史”,并对已有的“知”进行丰富和完善,包括第一步的数据分析模型优化和完善,以及第二步的形成新一轮决策,以此反复循环和验证,逐步形成较为成熟的数据分析和应用模型。
总结完“经、史、知、行”,笔者不禁感叹,这真是说起来容易(就四个字),但要做到还真难啊!但不管怎样,还是希望能给各位同僚在未来的数据分析和应用实战中提供一些思路和参考,起到抛砖引玉的作用吧。
数据分析咨询请扫描二维码
数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21