不过这并不一定就是坏事。把 Hadoop 当作廉价有效的存储正好是 Hadoop 下一阶段演进的的完美起点。今年夏天就要亮相的 Hadoop 2.0 将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
Hadoop大桶
自成为大数据工具以来,Hadoop 就是一个非常棒的数据存储系统,但是需要开发 Java 应用来访问数据的 MapReduce 学习起来却比较困难。
当然,还有别的办法可以从 Hadoop 中获取信息。Hbase数据是 Hadoop 的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类 SQL 的 HiveSQL 查询语言来创建查询并转化为 MapReduce 任务。不过 Hadoop 仍受限于单线程性。MapReduce 任务、Hive 查询、Hbase 操作,等等,这些都要轮流进行。
Hadoop 的开发社区也意识到这个问题,随着 Hadoop 即将迭代到新的版本,上述限制即将在很大程度上被解除。
YARN解决方案
相对于当前 MapReduce 系统能处理的事情,把这些功能分开使得 Hadoop 集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
有了 YARN,开发者就能够直接在 Hadoop 内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
Murthy 称,现在已经有供应商对在 YARN 框架内开发应用表现出兴趣。Murthy 估计,Hadoop 2.0 的强力 beta 版有可能会在今年 6 月或 7 月推出,正式版则可能在 8 月发布。
如果 YARN 的确能履行其承诺的话,开发者将可以在原生的 Hadoop 平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。