“大数据”是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。大数据的迅速发展引起了全球各政府、商业机构和学术界的广泛关注。在中国，互联网企业、金融界迅速跟进，进行了包括开源构架为代表Hadoop的全新升级，在经过2013年的硬件、软件和技术的升级，大数据从概念走向了应用。
　　小数据并不是指数据量小，而是根据客户的特定需求，有针对性地找出能够给客户提供决策支持的客观依据，从而达到服务客户的目的，它的存在对于促进经济社会的发展、更加准确的满足客户需求具有非常重要的作用。小数据分析和大数据分析所需要的技能并不相同，侧重点也有所不同，由于小数据涉及的是数据的深度，分析人员需要具备某一方面的专业技术知识。
　　小数据作为数据时代的重要组成部分，在证券公司的未来发展中将起到举足轻重的作用。证券公司可以充分利用数据资源，在做好大数据的基础上，提取出具有鲜明特征且有价值的小数据，挖掘其中蕴含的客户信息及交易信息，获取有价值的客户信息，帮助证券公司降低运营成本、提高运行效率、并及时调整公司定位。　　
　　随着信息技术、移动互联网技术和物联网技术的快速发展，当今社会已悄然迈入大数据时代。在大数据时代，人们面临的挑战不仅来自技术环节，还有生活方式、工作方式，甚至思维方式问题。对证券金融业来说，这种挑战现在正变得更直接、更严峻。如何应对挑战呢？除了更新知识、更新思维、更新工作方法外，还要找到大数据环境下的小数据应对策略。如此，方能把握主动，成为赢家。
　　大数据与证券公司个性化服务
　　为了适应当前国民经济持续健康发展的需求和多层次资本市场的需求，证券公司作为金融中介的职能在信息技术的冲击下将有所改变。在大数据背景下，证券公司将有能力快速收集传导大量的高质量信息，以设计出符合客户需求的产品组合，并不断根据客户偏好的改变而调整。
　　大数据在加强风险管控、精细化管理、服务创新等转型中别具现实意义，是实现向信息化券商转型的重要推动力。大数据能够加强风险的可审性和管理力度，在“普惠金融”的要求下，证券公司可以利用互联网金融思维，将股权众筹模式引入券商业务之中，股权众筹与新三板市场的结合可以很好的解决小微企业贷款的风险管理问题，而大数据技术是解决上述问题风险控制的利器之一。
　　此外，大数据在证券公司客户服务方面别具风格，能够实现客户的精细化管理。当前中国证券业以客户为中心的管理改革已经起步，在以“以客户为中心”理念的指导下，通过对客户消费行为模式进行分析，提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现精细化管理和差异化竞争。
　　在过去几年里，越来越多的证券公司在采用数据驱动的方法来进行有针对性的服务来降低风险和提高业绩。他们执行特殊的数据分析程序来对一系列的资料进行收集、存储、管理和分析大数据集，识别关键业务观察，以便给客户提供更好的决策。可利用的金融数据源包括股票价格、外汇和衍生品交易、交易记录、高频交易、无结构化新闻和文本、以及隐含在社会媒体和网络中的消费者信心和商业情绪等。
　　大数据特点与安全问题和应用进展
　　1.大数据的特点
　　大数据是从线上线下资源中收集到的大量商业信息，这些信息包括网站、社会网络、手机Apps,软件、文件、电脑记录、传感网络等信息，越来越多的企业从数据的分析中获利，对大数据的分析正在帮助各种企业快速成长。然而，海量数据的爆炸，最大意义上不在于其数量，而在于大数据能够帮助企业做什么。不少大公司目前仅能从他们所拥有的海量数据的初级数据分析中获利。
　　提到大数据，人们经常用海量化(Volume)、多样化(Variety)、快速化(Velocity)来描述大数据，常把它想像成高风险、耗资巨大、运行耗时多的IT投资。数据容量增长的速度大大超过了硬件技术的发展速度，引发了数据存储和数据处理的危机。结构化数据、非结构化数据以及多结构化数据的数据构成，对传统的数据分析处理算法和软件提出了挑战。
　　同时，为了能及时把握市场动态，快速制定出合理准确的生产、运营、营销策略，进而提高企业的核心竞争力，对大数据的快速处理分析，将为企业实时洞察市场变化、把握市场先机提供决策支持。但大数据的好处来源于它的驱动价值(Value)，应用算法和预测模型来解决具体的商业问题，使得“数据价值化”成为企业提供竞争力的下一个关键点。
　　事实上，商业效益隐含于所有数据中，数据量的大小并不是最关键的。无论是拥有大数据还是客户的简单交易数据，所关心的是想得到的商业结果以及如何分析这些数据。
　　2.大数据的安全问题
　　移动通信、移动互联网和物联网的快速发展带来了海量的数据，它一方面使得社会更加民主化、使得人们之间的交往更加社会化，并能使长久失去联系的亲朋好友通过当前的信息技术取得联系。但另一方面，进入信息时代，为了争夺和保全企业的核心数据，各类窃听门事件陆续爆发和被揭露。员工的隐私、公司的机密等一系列数据安全的关键词不断被提起。
　　互联网在带来便利的同时也使得隐私更加透明化，而此时的大数据正是一个时刻关注人们成长的“老大哥”，个人在享受了大数据时代带来便利的同时，也有信息遭到侵犯的隐忧。相关立法者应该采取有效措施，使得“老大哥”仅仅在自己所属的框架下活动，避免其变成不被邀请且不受欢迎的餐桌上的人。
　　3.证券公司积极备战大数据
　　大数据时代的到来，很多证券公司都开始厉兵秣马，一些公司已经开始搭建大数据平台。对于证券公司而言，如何快速的整合公司内外部海量数据资源，通过数据挖掘、数据管理和数据分析的手段，为公司在风险控制、业务创新、和客户的精细化管理方面提供决策依据，帮助公司在高频交易、小额信贷、精准营销等领域加速推进。同时实时和非实时的计算分析能力，为企业提供全周期的低成本高性能的商业智能平台支持。
　　一个公司在进行大数据的分析中，需要投资许多服务器，为了得到不同的数据，需要使用复杂的分析机器和数据挖掘应用软件来搜索网络，这些数据包括客户投资及交易行为的分析、潜在客户及流失客户的信息等。所有这些数据进入一个中心数据仓库，在数据仓库里，利用复杂的算法进行分类和处理，并将它们详细的展示出来。图1给出了大数据的技术架构图，给出了从数据采集、数据分析到数据解释的路线，对证券公司建立技术结构具有一定的借鉴作用。
　　4.当前大数据应用所面临的困难
　　大数据的前景是诱人的，但如果想利用大数据来为企业做实实在在的事情却面临很多困难。首先大型证券公司为了实现内部资源共享、提升整体数据管理效率，往往会部署多个数据中心。一般需要部署分布式云数据中心，实现数据中心即时服务，从而提升IT服务质量和多个数据中心的整体IT利用率。而分布式云数据中心又包括私有云、公有云和灾备。随着产生越来越复杂数据流的设备和交易的增长，有效地利用企业现有数据是未来竞争的优势之一。
　　大数据的上述应用使得企业从不同的方面获利，但不少证券公司发现这些设备和软件需要耗费大量的财力物力，在大数据方面的人才储备方面也明显不足。尤其是中小证券公司，面对昂贵的机器和先进的技术手段因为财力物力人力的差距望而却步。对于证券公司的很多实际问题来说，小数据是足够的，中小券商可以在暂时各方面条件受限的条件下分析小数据，从小数据的分析中获利。
　　小数据的来源、特点及应用
　　1.小数据的来源
　　小数据的概念最初是康奈尔大学计算机科学教授Deborah Estrin提出的。她的研究发现来源于年迈父亲的细微变化，她从父亲2013年去世前几个月的数字社会脉动中看到了信号的异常——父亲停止了发送电子邮件，去超市购物的次数逐渐减少，在附近散步的距离越来越短。然而这些细微的异常变化却没能显示在医生的心电图中，心电图显示健康状况正常。这启发Estrin开始研究小数据，从日常生活的小数据中寻找异常之处，把它当作一种新的医学证据。
　　小数据并不是指数据量小，而是根据客户的特定需求，有针对性地找出能够给客户提供决策支持的客观依据，从而达到服务客户的目的，它的存在对于促进经济社会的发展、更加准确的满足客户需求具有非常重要的作用。
　　2.小数据的特点
　　小数据是在数量和格式方面易收集的、易处理、易操作的数据。与大数据类似，目前对小数据的概念还没有明确的定义，一般可以认为，小数据具有及时、有用、可组织、可包装和可视化的特点，对于使用者来说，小数据具有易收集、易理解和易操作的特点。
　　小数据的合理利用将众多企业从需要最新最先进技术来支持复杂商业过程的困惑中解脱出来，小数据利用的提升，使得企业可以高效地利用他们的现有资源，从而避免了购买大数据处理机器所带来的财力超支。小数据的数据分析在深度上比大数据更胜一筹，能提供比大数据更精确的信息。小数据的发展方兴未艾，可以预料，未来将是小数据发展的一个大机遇。
　　3.小数据的应用
　　客户关系管理系统是小数据应用的首要选择。客户关系管理是企业用来管理他们当前客户和潜在客户的系统，该系统为企业提供了中心化存储、查看和组织客户信息的场所，能够有效地帮助销售人员更高效地进行销售。
　　客户关系管理不仅能够帮助销售人员完成销售任务，而且能增加客户的忠诚度和满意度，让中小企业更加有利可图。通过对客户关系管理数据的分析，可以分析出决策者如何制定合适的方案、告知企业能够获取最高潜在收益的方向所在，使得企业能在短期内重点突出化，可以说，对企业客户关系管理数据的分析，可以使得企业能更好地理解客户、与客户建立良好的关系。
　　举例而言，客户打电话购买企业的产品或想得到企业的技术支持，如果第一次没能解决，第二次接电话的雇员不同于第一次的雇员，客户一般需要重新将他们的问题叙述一遍，这降低了客户体验。如果通过客户关系管理，将客户第一次的需求进行存储，使得雇员每次能够传递始终如一的、高质量的服务，他们能与当前或将来的客户接洽，在此过程中能够巩固客户关系和增强客户忠诚度。这样就能实现企业数据的无缝对接，实现客户和雇员的实时全貌观。
　　4.小数据的安全问题
　　相对于大数据对隐私的无止境侵犯，小数据在保护客户隐私方面占据主动，能够很好地解决大数据在个人隐私方面的暴露。由于小数据对内是客户个人数据的集合，而任何对外的数据输出，都可以通过预先设定的授权程序给定，对于企业而言，只要在企业内部控制好对于客户数据分析的授权，就可以有效地保护客户的隐私。
　　大数据与小数据的区别与联系
　　大数据通常指千兆字节和艾字节度量的结构化和非结构化数据的组合，其海量化、多样化和快速化的特点使得大数据非常难以掌控。大数据可以通过发现客户行为的隐含模式，来预测总统大选、预测世界杯比赛的结果等。而小数据的想法则是在没有商业所需要的大数据分析所常用的各种系统的情况下，达到能操作的结果。表1列出了大数据和小数据在数据类型等多个层面上的区别。
　　在进行大数据的分析和处理中，从开始使用到最终产生效益需要耗费大量的时间和财力，特别是需要大数据在线分析来达到目标和传递个性化体验的情况下，这在一定程度上造成大数据的应用成本偏高且特别难以推广。在这种情况下，如果能做好小数据的处理和分析，企业同样能够获得利润。
　　当然，在财力、人力和物力运行的情况下，能够兼顾大数据和小数据的分析，做到数据的优势互补，则能够创造更多的利润。图2给出了大数据和小数据在数据量方面及效率对比图，可以看出，在中间重叠的区域，大数据和小数据的分析功效难分伯仲。如果能做到大数据和小数据的优势互补，对企业数据的分析是最好的选择。
　　小数据在证券公司的应用
　　1.小数据在经纪业务方面的应用
　　不同于大数据，小数据是现成的可以利用的资源，证券公司可以通过网络媒体了解客户投资需求和偏好、他们对于某投资行业的看法等，通过分析客户的反馈，提高企业的服务质量，还可以通过互联网信息来分段和精选客户。
　　传统意义上，证券公司通过降低佣金来挽留客户，但最终往往得到一批无效客户，并引起了行业的恶性竞争，将严重损害公司利益和行业形象，2014年初的零佣金已引起证监会[微博]的紧急叫停。
　　通过对客户的分析可以得知，资金量大的客户换手率不一定高，而真正换手率高的客户通常会有很多个性化需求。中小证券公司在有限的市场和销售资源的条件下，可以利用智能过滤和分段工具找到最佳客户。通过对客户投资类型的分析，为客户提供量身订制的服务，一方面可以增加客户的满意度和忠诚度，另一方面可以提高证券公司的效益。
　　在互联网金融和信息技术的冲击下，证券公司作为金融中介的职能将有所改变。证券公司未来的经营模式将以通道为基础，服务与交易相融合的经营模式将成为主流。摆脱传统依靠收取交易佣金的方式，实现业务多样化，是公司寻求业务转型发展的必然选择。任何差异化的业务服务创新均有赖于对客户信息的了解，券商可以充分对公司现有进行有效客户关系管理，通过数据模型对现有客户交易数据、客户服务数据、行情数据、金融资讯等进行分析，同时对潜在客户的数据、用户行为记录产生的数据进行深度挖掘。
　　2.小数据在营销服务方面的应用
　　营销服务方面，针对产品、服务、客户洞察的精细化和个性化，证券公司可以从客户出发，从客户数据着手挖掘核心信息，从数据中提取客户价值等核心信息，并对核心信息进行细分，再做精准营销、个性化的处理，然后再针对客户营销策划和营销行动。券商可以从服务渠道优先、交易渠道优先、关怀活动优先等方面入手，研究细分群体的潜在投资偏好和需求，打包服务产品，组装成套餐，提供不同细分客户群体的解决方案。
　　一般而言，以客户为中心和公司利润增长是一对矛盾体，要以客户为中心，就需要改变以产品为中心的模式，做到信息披露公开，舍弃将“不透明的口袋”作为收入和利润来源的模式，积极应对因此而造成的利润下降的压力。在这一过程中，对客户数据分析这一技术的变革将是成功的重要因素。
　　通过建立潜在客户识别模型和新增客户质量评估模型识别出公司的潜在客户，通过建立客户渠道偏好模型、客户购买倾向预测模型、客户投资能力评价模型、产品关联分析模型、客户满意度评价模型和客户忠诚度评价模型等提高客户的黏性和忠诚度，通过建立客户流失预警模型、沉默客户盘活模型和核心客户保有模型等有效防止客户的流失。
　　通过这些服务，可以改善公司的服务，提高客户满意度，同时提高员工的生产能力，进而提高公司的竞争力，达到获取利润的目的，有效地解决了以客户为中心和公司利润增长的矛盾。
　　3.在量化投资方面的应用
　　小数据在量化投资方面显示出数据挖掘的深度。以个股期权隐含波动率为例说明小数据在量化投资方面的应用。波动率是衡量金融产品在某一时间段内价格变动程度的数值，也是衡量市场变动速度的数值。自从2013年12月份个股期权模拟测试以来，证券公司和投资者都对个股期权正式上线翘首以盼。
　　期权作为一种风险管理的工具，以其高杠杆性、多策略性吸引着投资者，为投资者提供了一种全新而又高效的风险管理手段。在运用期权定价模型对衍生品进行定价时，在决定期权价格的几大因素如标的物价格、到期时间、利率和股息等确定以后，只有隐含波动率是未知的。而隐含波动率是投资者对未来波动率的预测，它是市场价格的真实映射。
　　作为投资者信息的集散地，金融市场中每天的交易数据反映了供求双方从历史数据和最新资讯中获取各种信息后形成的预期，包含了信息容量最大和最可靠的事前预测信息，此时根据研究的需要，选取不同时间的交易数据信息构成时间序列，从而预测出隐含波动率。这种利用历史数据进行期权价格计算和预测的方法，是金融量化投资的一个缩影，显示了小数据在预测和定价方面的良好效果。
　　小数据在证券公司的未来发展
　　1.小数据的未来趋势
　　通过数据分析提供销售水平和服务质量，是证券公司未来发展的重要手段。目前国内对于小数据的分析和利用仍然处于低级阶段。对小数据的分析和应用大致可以分为三个层次。
　　第一层次是对现有数据的全面分析，其中涉及模型建立、各类数据在模型中的占比等。目前大部分证券公司对数据的利用处于这一层次。
　　第二层次是对数据变量的全面把握，能够利用数据进行远期预测，预测股票未来走势、客户资产管理的预测、客户流失和忠诚客户的预测等。
　　第三层次是考虑小数据的人文因素，在数据分析日臻完善的基础上，引入社会、心理、人文等因素，能使得数据的分析结果更加准确。
　　2.小数据预测对人才的要求
　　小数据并不是数据量小，而是数据针对性强。为了使得数据分析的结果更加准确，从而做出有预测性、有价值的分析。小数据分析人员要求具备统计学、商业分析和自然语言处理能力，能够对数学、统计学、机器学习等多方面的知识全方位的掌控。
　　对于金融行业的数据分析人员来说，需要对相关金融知识和其所涉及的数学背景有很深的理解，能够快速进行编程计算。以个股期权为例，为了更准确地计算隐含波动率，小数据分析师需要熟悉期权定价所需要的模型如B-S模型、ARCH模型、GARCH模型等、随机时间序列分析，还需要熟练掌握至少一门编程语言。应该说，小数据分析和大数据分析所需要的技能并不相同，侧重点也有所不同，由于小数据涉及的是数据的深度，所需要的知识也更加专业一些，分析人员需要具备某一方面的专业技术知识。
　　3.小数据的大服务
　　小数据作为数据时代的重要组成部分，在证券公司的未来发展中将起到举足轻重的作用。证券公司可以充分利用数据资源，在做好大数据的基础上，提取出具有鲜明特征且有价值的小数据，挖掘其中蕴含的客户信息及交易信息，获取有价值的客户信息，帮助证券公司降低运营成本、提高运行效率、并及时调整公司定位。除了能更好地为客户提供量身订制的服务，在股票推荐、融资融券、经纪业务和量化投资等方面都有较大的发展。