热线电话：13121318867

登录
首页精彩阅读如何将hive表文本格式的源文件迁移至Oracle数据库或者excel文档中
如何将hive表文本格式的源文件迁移至Oracle数据库或者excel文档中
2018-01-05
收藏

如何将hive表文本格式的源文件迁移至Oracle数据库或者excel文档中

需求描述:从hadoop的hdfs中下载某hive表文本文件，并将该文件数据迁移至Oracle表中。

思路剖析：首先，我们需要从hadoop服务器中下载该文本文件；其次，将该文件处理为excel规范表；最后，将规范的excel表结构插入值Oracle数据库对应的表中。话休絮烦，直接上demo。

1，从hadoop服务器的hdfs中下载源数据文本文件：

[html]view plaincopy
  1. hadoop fs -get hdfs://nameservice/user/hive/house/r_map_region  /data/ailk/aiinsight/bin/xiepj  

上述命令将hdfs中   nameservice/user/hive/house/r_map_region  路径下的源数据文本文件下载至 本地  /data/ailk/aiinsight/bin/xiepj 路径下

2，源数据加工

我们知道hive中表结构是保存在txt文件中，其中字段间的间隔符可以由用户指定。当我们拿到hdfs中的文本格式的源文件时，表结构往往不太清晰，不利于我们做一些加工处理，我们往往希望将其转换为excel表格的形式来对其处理。如下图所示：

将源数据中的分隔符替换为tab键：

3，替换后结果粘贴至excel表中，至此完成。

替换后文本效果：

excel格式效果；

总结：excel中遇到tab键，数据会自动换至下一列。此处正式利用了excel的这一特性。



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

表结构 字段

数据分析咨询请扫描二维码

上一篇Excel中时间格式数据转为文本格式数据
下一篇数据科学家图鉴：我们分析了LinkedIn 上一千位数据科学家的简历
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询