热线电话：13121318867

登录
首页精彩阅读从HadoopURL中读取数据
从HadoopURL中读取数据
2017-06-06
收藏

从HadoopURL中读取数据

要从Hadoop文件系统中读取文件，最简单的方法是使用java.net.URL对象打开数据流，进而从中读取数据。具体格式如下。

InputStreamin=null;
  try{
    in=new URL(“hdfs://host/path”).openStream();
    //process in
  } finally{
    IOUtils.closeStream(in);
  }

让Java程序能够识别Hadoop的hdfs URL方案还需要一些额外的工作。这里采用的方法是通过FsUrlStreamHandlerFactory实例调用URL中的setURLStreamHandlerFactory方法。由于Java虚拟机只能调用一次上述方法，因此通常在静态方法中调用上述方法。这个限制意味着如果程序的其他组件（如不受你控制的第三方组件）已经声明了一个URLStreamHandlerFactory实例，将无法再使用上述方法从Hadoop中读取数据。例5-1展示的程序以标准输出方式显示Hadoop文件系统中的文件，类似于Unix中的cat命令。

例5-1 以标准输出方式显示Hadoop文件系统中的文件。

public classURLCat{
static{
    URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws Exception{
    InputStream in=null;
    try{
       in=new URL(args [0] ).openStream();
       IOUtils.copyBytes(in, System.out.4096, false);
    } finally{
        IOUtils. closeStream(in);
    }

}

}

可以调用Hadoop中简洁的IOUtils类，并在finally子句中关闭数据流，同时也可以在输入流和输出流之间复制数据（本例中为System. out）。copyBytes方法的最后两个参数，第一个用于设置复制的缓冲区大小，第二个用于设置复制结束后是否关闭数据流。这里选择自行关闭输入流，因而System.out不关闭输入流。

运行结果如下：



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

Hadoop 虚拟机

数据分析咨询请扫描二维码

上一篇回归系列（一）| 怎样正确地理解线性回归
下一篇2020美国总统竞选大戏开锣，川普当选的奇迹会再发生吗？
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询