大数据有精神分裂症_数据分析师

在物联网的产业方面，有一些商业模式使物联网货币化。近日，Kaggle已经与一家主要工业集团进行合作。其目标是开发者和数据科学家们运行公共需求以创造最好的新算法，来减少航空旅行延误。

作为一名飞行常客，我总是惊讶于航班有多少次不得不处于静止模式并且只是环绕着机场。很多因素会导致这些延迟包括天气状况、交通拥堵和门的可用性。其中一个有趣的统计是，即使是削减掉10英里的平均飞行便可以为航空公司节省数百万美元的燃油成本。

其中物联网和大数据的衔接是一个很好的例子。该算法涉及到对飞行的历史事件、飞行计划、飞行轨道（实际GPS信息），天气和FAA计划的整体历史分析。物联网的真正好处是，飞行修正可以实时通过传感数据完成，并且通过大数据分析还未出现的模式的可行性。

这带来了一个有趣的悖论 – 大数据的精神分裂症性质。为了提供一个可操作的见解，实时数据流分析是必须的。但是，这个时间点流传感器数据没有多大用处，除非我们知道相互依赖的历史数据和相互作用的模式。

传统的大数据解决方案，如Hadoop，依赖于使用各种基于MapReduce的HDFS架构进行批处理。最近，已经有许多个流处理系统，如正在得到了很多的关注的ApacheSpark。我们需要一个统一的基于依赖批处理和流处理的解决方案。作为IT领导者，最后我想要的是一个架构，在那里我可以维护多个代码库以解决单个业务问题。一种办法是在MapReduce和风暴或类似的系统之上构建流处理应用程序。

在物联网的世界里，最关键的成功因素之一是，我们如何能够产生上下文敏感的，真正可操作的警报。这是一个老问题，对于这个问题人们已经不再关注汽车报警器在停车场熄声了。在物联网解决方案需要紧缩亿万传感器数据元素，并找到可行的模式。例如，什么真正构成信用卡购买欺诈交易？什么天气模式以及飞行员的技能和机场设备实际上会导致延迟？以下提议的架构解决了这个难题。

大数据决策模式

有一个提供实时可操作警报的仪表盘。仪表板获得其标定的动力来自一个规则引擎。规则引擎不断在批处理模式下运行，并通过数据挖掘算法和机器学习更新自己。实时流数据通过该批次系统生成动态规则连续搜索。这确保了只有在真正需要的时候警报才会响起。

一些开源的大数据技术来共同实现这一架构。其中一个亮点是采用ApacheKafka（高通量分布式消息系统）。Kafka允许监听多个传感器的话题，并提供流数据到ApacheStorm。Apache Flume 起着输送成批处理和流式数据储存库中数据的作用。CDA数据分析师培训官网