大数据在金融行业的应用与挑战

A    具有四大基本特征

金融业基本是全世界各个行业中最依赖于数据的，而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概念还没有出现。Bloomberg的最初产品是投资市场系统（IMS），主要向各类投资者提供实时数据、财务分析等。

随着信息时代降临，1983年估值仅1亿美元的Bloomberg以30%股份的代价换取美林3000万美元投资，先后推出Bloomberg Terminal、News、Radio、TV等各类产品。1996年Bloomberg身价已达20亿美元，并以2亿美元从美林回购了10%的股份。2004年Bloomberg在纽约曼哈顿中心建成246米摩天高楼。到2008年次贷危机，美林面临崩盘，其剩余20%的Bloomberg股份成为救命稻草。Bloomberg趁美林之危赎回所有股份，估值跃升至225亿美元。2016年Bloomberg全球布局192个办公室，拥有1.5万名员工，年收入约100亿美元，估值约1000亿美元，超过同年市值为650亿美元的华尔街标杆高盛。

大数据概念形成于2000年前后，最初被定义为海量数据的集合。2011年，美国麦肯锡公司在《大数据的下一个前沿：创新、竞争和生产力》报告中最早提出：大数据指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。

具体来说，大数据具有四大基本特征：

一是数据体量大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量。

二是数据类别大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据。

三是处理速度快，在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。

四是数据的真实性高，随着社交数据、企业内容、交易与应用数据等新数据源的兴起，传统数据源的局限被打破，信息的真实性和安全性显得极其重要。

而相比其他行业，金融数据逻辑关系紧密，安全性、稳定性和实时性要求更高，通常包含以下关键技术：数据分析，包括数据挖掘、机器学习、人工智能等，主要用于客户信用、聚类、特征、营销、产品关联分析等；数据管理，包括关系型和非关系型数据、融合集成、数据抽取、数据清洗和转换等；数据使用，包括分布式计算、内存计算、云计算、流处理、任务配置等；数据展示，包括可视化、历史流及空间信息流展示等，主要应用于对金融产品健康度、产品发展趋势、客户价值变化、反洗钱反欺诈等监控和预警。

B    重塑金融行业竞争新格局

“互联网+”之后，随着世界正快速兴起“大数据+”，金融行业悄然出现以下变化：

大数据特征从传统数据的“3个V”增加到“5个V”。在数量（Volume）、速度（Velocity）、种类（Variety）基础上，进一步完善了价值（Value）和真实性（Veracity），真实性包括数据的可信性、来源和信誉、有效性和可审计性等。

金融业按经营产品分类变为按运营模式分类。传统金融业按经营产品划分为银行、证券、期货、保险、基金五类，随着大数据产业兴起和混业经营的发展，现代金融业按运营模式划分为存贷款类、投资类、保险类三大类别。

大数据市场从垄断演变为充分市场竞争。全球大数据市场企业数量迅速增多，产品和服务的差异增大，技术门槛逐步降低，市场竞争日益激烈。行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用成为市场份额排名最靠前的五大细分市场。

大数据形成新的经济增长点。Wikibon数据显示，2016年，全球大数据硬件、软件和服务整体市场增长22%达到281亿美元，预计到2027年，全球在大数据硬件、软件和服务上的整体开支的复合年增长率为12%，将达到大约970亿美元。

数据和IT技术替代“重复性”业务岗位。数据服务公司Eurekahedge通过追踪23家对冲基金，发现5位对冲基金经理薪金总额为10亿美元甚至更高。过去10年，靠数学模型分析金融市场的物理学家和数学家“宽客”一直是对冲基金的宠儿，其实大数据+人工智能更精于此道。高盛的纽约股票现金交易部门2000年有600名交易员而如今只剩两人，其任务全由机器包办，专家称10年后高盛员工肯定比今天还要少。

美国大数据发展走在全球前列。美国政府宣称：“数据是一项有价值的国家资本，应对公众开放，而不是将其禁锢在政府体制内。”作为大数据的策源地和创新引领者，美国大数据发展一直走在全球最前列。自20世纪以来，美国先后出台系列法规，对数据的收集、发布、使用和管理等做出具体的规定。2009年，美国政府推出Data.gov政府数据开放平台，方便应用领域的开发者利用平台开发应用程序，满足公共需求或创新创业。2010年，美国国会通过更新法案，进一步提高了数据采集精度和上报频度。2012年3月，奥巴马政府推出《大数据研究与开发计划》，大数据迎来新一轮高速发展。

英国是欧洲金融中心，大数据成为其领先科技之一。2013年，英国投资1.89亿英镑发展大数据。2015年，新增7300万英镑，创建了“英国数据银行”data.gov.uk网站。2016年，伦敦举办了超过22000场科技活动，同年，英国数字科技投资逾68亿英镑，而收入则超过1700亿英镑。另外，英国统计局利用政府资源开展“虚拟人口普查”，仅此一项每年节省5亿英镑经费。

C    打造高效金融监管体系

大数据用已发生的总体行为模式和关联逻辑预测未来，决策未来,作为现代数字科技的核心，其灵魂就是——预测。

侦测、打击逃税、洗钱与金融诈骗

全球每年因欺诈造成的经济损失约3.7万亿美元，企业因欺诈受损通常为年营收额的5%。全球最大软件公司之一美国SAS公司与税务、海关等政府部门和全球各国银行、保险、医疗保健等机构合作，有效应对日益复杂化的金融犯罪行为。如在发放许可之前，通过预先的数据分析检测客户是否有过行受贿、欺诈等前科，再确定是否发放借贷或海关通关。SAS开发的系统已被国际公认为统计分析的标准软件，在各领域广泛应用。英国政府利用大数据检测行为模式检索出200亿英镑的逃税与诈骗，追回了数十亿美元损失。被福布斯评为美国最佳银行的德克萨斯资本银行（TCBank），不断投资大数据技术，反金融犯罪系统与银行发展同步，近3年资产从90亿美元增至210亿美元。荷兰第三大人寿保险公司CZ依靠大数据对骗保和虚假索赔行为进行侦测，在支付赔偿金之前先期阻断，有效减少了欺诈发生后的司法补救。

大数据风控建立客户信用评分、监测对照体系

美国注册舞弊审核师协会（ACFE）统计发现，缺乏反欺诈控制的企业会遭受高额损失。美国主流个人信用评分工具FICO能自动将借款人的历史资料与数据库中全体借款人总体信用习惯相比较，预测借款人行为趋势，评估其与各类不良借款人之间的相似度。美国SAS公司则通过集中浏览和分析评估客户银行账户的基本信息、历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如搜索到该客户从新出现的国家为特有用户转账，或在新位置在线交易等），进行实时反欺诈分析。

美国一家互联网信用评估机构通过分析客户在Facebook、Twitter等社交平台留下的信息，对银行的信贷和投保申请客户进行风险评估，并将结果出售给银行、保险公司等，成为多家金融机构的合作伙伴。

D    数据整合困难

应用经济指标预测系统分析市场走势

IBM使用大数据信息技术成功开发了“经济指标预测系统”，该系统基于单体数据进行提炼整合，通过搜索、统计、分析新闻中出现的“新订单”等与股价指标有关的单词来预测走势，然后结合其他相关经济数据、历史数据分析其与股价的关系，从而得出行情预测结果。

追踪社交媒体上的海量信息评估行情变化

当今搜索引擎、社交网络和智能手机上的微博、微信、论坛、新闻评论、电商平台等每天生成几百亿甚至千亿条文本、音像、视频、数据等，涵盖厂商动态、个人情绪、行业资讯、产品体验、商品浏览和成交记录、价格走势等，蕴含巨大财富价值。

2011年5月，规模为4000万美元的英国对冲基金DC Markets，通过大数据分析Twitter的信息内容来感知市场情绪指导投资，首月盈利并以1.85%的收益率一举战胜其他对冲基金仅0.76%的平均收益率。

美国佩斯大学一位博士则利用大数据追踪星巴克、可口可乐和耐克公司在社交媒体的围观程度对比其股价，证明Facebook、Twitter和 Youtube上的粉丝数与股价密切相关。

提供广泛的投资选择和交易切换

日本个人投资理财产品Money Design在应用程序Theo中使用算法+人工智能，最低门槛924美元，用户只需回答风险承受水平、退休计划等9个问题，就可使用35种不同货币对65个国家的1.19万只股票进行交易和切换，年度管理费仅1%。Money Design还能根据用户投资目标自动平衡其账户金额，预计2020年将超过2万亿美元投资该类产品。

利用云端数据库为客户提供记账服务

日本财富管理工具商Money Forward提供云基础记账服务，可管理工资、收付款、寄送发票账单、针对性推送理财新项目等，其软件系统连接并整合了2580家各类金融机构的各类型帐户，运用大数据分析的智能仪表盘显示用户当前财富状况，还能分析用户以往的数据以预测未来的金融轨迹。目前其已拥有50万商家和350万个体用户，并与市值2.5万亿美元的山口金融集团联合开发新一款APP。

为客户定制差异化产品和营销方案

金融机构迫切需要掌握更多用户信息，继而构建用户360度立体画像，从而对细分客户进行精准营销、实时营销、智慧营销。

一些海外银行围绕客户“人生大事”，分析推算出大致生活节点，有效激发其对高价值金融产品的购买意愿。如一家澳大利亚银行通过大数据分析发现，家中即将诞生婴儿的客户对寿险产品的潜在需求最大，于是通过银行卡数据监控准妈妈开始购买保胎药品和婴儿相关产品等现象，识别出即将添丁的家庭，精准推出定制化金融产品套餐，受到了客户的积极响应，相比传统的短信群发模式大幅提高了成功率。

催生并支撑人工智能交易

“量化投资之王”西蒙斯被公认为是最能赚钱的基金经理人，自1988年创立文艺复兴科技公司的旗舰产品——大奖章基金以来，其凭借不断更新完善的大数据分析系统，20年中创造出35%的年均净回报率，比索罗斯同期高10%，比股神巴菲特同期高18%，成为有史以来最成功的对冲基金，并于1993年基金规模达2.7亿美元时停止接受新投资。在美国《Alpha》杂志每年公布的对冲基金经理排行榜上，西蒙斯2005年、2006年分别以15亿美元、17亿美元净收入稳居全球之冠，2007年以13亿美元位列第五，2008年再以25亿美元重返榜首。

推动金融产品和服务创新

E    面临三大挑战

目前，全球各行业数据量的增长速度惊人，在我国尤其集中在金融、交通、电信、制造业等重点行业，信息化的不断深入正在进一步催生更多新的海量数据。

据统计，2015年中国的数据总量达到1700EB以上，同比增长90%，预计到2020年这一数值将超过8000EB。以银行业为例，每创收100万元，银行业平均产生130GB的数据，数据强度高踞各行业之首。但在金融企业内部数据处于割裂状态，业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者，缺乏顺畅的共享机制，导致海量数据往往处于分散和“睡眠”状态，虽然金融行业拥有的数据量“富可敌国”，但真正利用时却“捉襟见肘”。

数据安全暗藏隐患

大数据本质是开放与共享，但如何界定、保护个人隐私权却成为法律难题。大数据存储、处理、传输、共享过程中也存在多种风险，不仅需要技术手段保护，还需相关法律法规规范和金融机构自律。多项实际案例表明，即使无害的数据大量囤积也会滋生各种隐患。安全保护对象不仅包括大数据自身，也包含通过大数据分析得出的知识和结论。在线市场平台英国Handshake.uk.com就尝试允许用户协商个人数据被品牌分享所得的报酬。

人才梯队建设任重道远

人才是大数据之本。与信息技术其他细分领域人才相比，大数据发展对人才的复合型能力要求更高，需要掌握计算机软件技术，并具备数学、统计学等方面知识以及应用领域的专业知识。