从HadoopURL中读取数据-CDA数据分析师官网

从HadoopURL中读取数据

2017-06-06

从HadoopURL中读取数据

要从 Hadoop文件系统中读取文件，最简单的方法是使用java.net.URL对象打开数据流，进而从中读取数据。具体格式如下。

InputStreamin=null;
try{
    in=new URL(“hdfs://host/path”).openStream();
    //process in
} finally{
    IOUtils.closeStream(in);
}

让Java程序能够识别Hadoop的hdfs URL方案还需要一些额外的工作。这里采用的方法是通过FsUrlStreamHandlerFactory实例调用URL中的setURLStreamHandlerFactory方法。由于Java虚拟机只能调用一次上述方法，因此通常在静态方法中调用上述方法。这个限制意味着如果程序的其他组件（如不受你控制的第三方组件）已经声明了一个URLStreamHandlerFactory实例，将无法再使用上述方法从Hadoop中读取数据。例5-1展示的程序以标准输出方式显示Hadoop文件系统中的文件，类似于Unix中的cat命令。

例5-1 以标准输出方式显示Hadoop文件系统中的文件。

public classURLCat{
static{
    URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws Exception{
    InputStream in=null;
    try{
       in=new URL(args [0] ).openStream();
       IOUtils.copyBytes(in, System.out.4096, false);
    } finally{
        IOUtils. closeStream(in);
    }

}

可以调用Hadoop中简洁的IOUtils类，并在finally子句中关闭数据流，同时也可以在输入流和输出流之间复制数据（本例中为System. out）。copyBytes方法的最后两个参数，第一个用于设置复制的缓冲区大小，第二个用于设置复制结束后是否关闭数据流。这里选择自行关闭输入流，因而System.out不关闭输入流。

运行结果如下：

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

Hadoop 虚拟机

数据分析咨询请扫描二维码

上一篇回归系列（一）| 怎样正确地理解线性回归

下一篇2020美国总统竞选大戏开锣，川普当选的奇迹会再发生吗？

从HadoopURL中读取数据

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析师教程《Python数据分析极简入门》第2节 4 ...

数据分析师的工作内容是什么

数据分析师必须掌握的技能有哪些

数据分析入门难吗

数据分析能干啥

数据分析行业的前景

数据分析的常用方法

什么是企业数字化转型

女生做数据分析师最好去哪个行业

大数据技术专业学什么

数据分析师教程《Python数据分析极简入门》第2节 3 ...

什么行业越老越吃香

利用python进行数据分析

大数据与会计专业主要学什么

成为数据分析师需要哪些技能

python可以做数据分析吗

数据分析师的日常工作有哪些？

数据分析五种方法

数字化转型是什么意思

未来发展前景好的十大行业