大数据技术与应用案例详解:获取有价值信息

大数据技术与应用是人们值得关注的事情，因为它很有可能对你的生活带来友好的改变。

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

二、大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。

开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

从挖掘任务和挖掘方法的角度，着重突破：1.可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。2.数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。5.数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。

六、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

　　大数据应用的九个领域

大数据应用在生活中可以帮助我们获取到有用的价值。

随着大数据的应用越来越广泛，应用的行业也越来越低，我们每日都可以看到大数据的一些新颖的应用，从而帮助人们从中获取到真正有用的价值。许多组织或者个人都会受到大数据的剖析影响，但是大数据是怎样帮助人们挖掘出有价值的信息呢?下面就让我们一起来看看九个价值极度高的大数据的应用，这些都是大数据在剖析应用上的关键领域：

1.理解客户、满足客户服务需求

大数据的应用现在在这领域是最广为人知的。重点是怎样应用大数据更好的了解客户以及他们的喜好和行为。企业极度喜欢搜集社交方面的数据、浏览器的日志、剖析出文本和传感器的数据，为了更加全面的了解客户。在通常情况下，创建出数据模型进行预测。好比美国的著名零售商Target就是通过大数据的剖析，获得有价值的信息，精准得预测到客户在什么时间想要小孩。另外，通过大数据的应用，电信公司可以更好预测出流失的客户，沃尔玛则更加精准的预测哪个产品会大卖，汽车保险行业会了解客户的需求和驾驶水平，政府也能了解到选民的偏好。

2.业务流程优化

大数据也更多的帮助业务流程的优化。可以通过利用社交媒体数据、网络搜索以及天气预告挖掘出有价值的数据，其中大数据的应用最广泛的就是供应链以及配送路线的优化。在这2个方面，地理定位和无线电频率的识别追踪货物和送货车，利用实时交通路线数据制订更加优化的路线。人力资源业务也通过大数据的剖析来进行改良，这其中就包括了人才招聘的优化。

3.大数据正在改善我们的生活

大数据不但单只是应用于企业和政府，同样也适用我们生活当中的每个人。我们可以利用穿着的装备(如智能手表或者智能手环)生成最新的数据，这让我们可以凭据我们热量的消耗以及睡眠模式来进行追踪。而且还利用利用大数据剖析来寻找属于我们的爱情，大多数时间交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。

4.提高医疗和研发

大数据剖析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA。而且让我们可以制订出最新的治疗方案。同时可以更好的去理解和预测疾病。就好像人们戴上智能手表等可以形成的数据一样，大数据同样可以帮助病人对于病情进行更好的治疗。大数据技术现在已经在医院应用监视早产婴儿和患病婴儿的情况，通过记录和剖析婴儿的心跳，医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。

5.提高体育成绩

现在许多运发动在训练的时间应用大数据剖析技术了。好比例如用于网球鼻塞的IBM SlamTracker工具，我们使用视频剖析来追踪足球或棒球比赛中每个球员的表现，而运动器材中的传感器技术(例如篮球或高尔夫俱乐部)让我们可以获得对比赛的数据以及怎样改良。许多精英运动队还追踪比赛环境外运发动的活动-通过使用智能技术来追踪其营养情况以及睡眠，以及社交对话来监控其情感情况。

6.优化机器和设备性能

大数据剖析还可以让积极和设备在应用上更加智能化和自主化。例如，大数据工具曾经就被谷歌公司利用研发谷歌自驾汽车。丰田的普瑞就配有相机、GPS以及传感器，在交通上能够安全的驾驶，不需要人类的敢于。大数据工具还可以应用优化智能电话。

7.改善安全和执法

大数据现在已经广泛应用到安全执法的过程当中。想必大师都知道美国安全局利用大数据进行恐怖主义打击，甚至监控人们的日常生活。而企业则应用大数据技术进行防御网络攻击。警察应用大数据工具进行捕捉罪犯，信用卡公司应用大数据工具来槛车敲诈性买卖。

8.改善我们的城市

大数据还被应用改善我们日常生活的城市。例如基于城市实时交通讯息、利用社交网络和天气数据来优化最新的交通情况。现在许多城市都在进行大数据的剖析和试点。

9.金融买卖

大数据在金融行业主要是应用金融买卖。高频买卖(HFT)是大数据应用比较多的领域。其中大数据算法应用于买卖决议。现在许多股权的买卖都是利用大数据算法进行，这些算法现在越来越多的考虑了社交媒体和网站新闻来决议在未来几秒内是买出还是卖出。

以上九个是大数据应用最多的九个领域，当然随着大数据的应用越来越普及，另有许多新的大数据的应用领域，以及新的大数据应用。

　　大数据应用的八个典型案例

什么是大数据？不要再举例说啤酒和尿布的例子了，Gartner的分析师Doug Laney在讲解大数据案例时提到过8个更有新意更典型的案例，可帮助更清晰的理解大数据时代的到来。

1. 梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

2. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性，然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。

3. 沃尔玛的搜索。这家零售业寡头为其网站Walmart.com自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说，这就意味着数十亿美元的金额。”Laney说。

4. 快餐业的视频分析。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。

5. Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场（他将在一天工作之后抵达该处）时，Morton就开始了自己的社交秀。首先，分析推特数据，发现该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。

6. PredPol Inc.。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。

7. Tesco PLC（特易购）和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。

8. American Express（美国运通，AmEx）和商业智能。以往，AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是，AmEx开始构建真正能够预测忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后四个月中流失的客户，已经能够识别出其中的24%。

大数据技术与应用可能在未来发挥它更大的作用，我们拭目以待！