解决hive中导入text文件遇到的坑


Posted in Python onApril 07, 2021

今天帮一同学导入一个excel数据,我把excel保存为txt格式,然后建表导入,失败!分隔符格式不匹配,无法导入!!!!怎么看两边都是\t,怎么不匹配呢?

做为程序员,最不怕的就是失败,因为我们有一颗勇敢的心!再来!又特么失败。。。

想了好久,看看了看我的表格式,我犯了一个好低级的错误:

hive表的存储格式设置为了orcfile!!!

众所周知:orcfile为压缩格式,可以节约大量存储空间,但orc还有个特点就是不能直接load数据!要想load数据,我们要建一个存储格式为textfile的中间表,然后再把数据抽取过去。因为这个错误太简单,网上有相关科普,因此很少有把它当错误写出来。遇到问题的朋友们可能要走些弯路,我来补个漏~~~~~~

举个栗子:

1.首先,导出excel表格为txt格式,(这个过程不再赘述,网上教程一大把)。

123,小明,666,1990-09-23 12:00:18
256,小伙,555,1989-10-06 03:57:32
142,小兰,444,1992-07-04 05:05:45

2.在hive中创建表模型:

CREATE TABLE IF NOT EXISTS STUDENTS
(
ID INT COMMENT'学生',
SNAME STRING COMMENT '姓名',
SCORE INT COMMENT '得分',
STIME STRING COMMENT '考试时间'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS ORCFILE;

3.创建临时表(中间表):

CREATE TABLE IF NOT EXISTS STUDENTS_TMP
(
ID INT COMMENT'学生',
SNAME STRING COMMENT '姓名',
SCORE INT COMMENT '得分',
STIME STRING COMMENT '考试时间'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

与目标表只有名称和存储格式不同,其他都相同。

4.load 数据到临时表:

load data local inpath '/export/data/1.txt' into table students_tmp;

5.将数据导入目标表:

insert overwrite table students select * from students_tmp;

6.然后查看表数据,大功造成:

hive > select * from students;
OK
123 小明 666 1990-09-23 12:00:18
256 小伙 555 1989-10-06 03:57:32
142 小兰 444 1992-07-04 05:05:45
Time taken: 0.26 seconds, Fetched: 3 row(s)

其他存储格式如 SEQUENCEFILE、PARQUET 等,也要选存储为textfile格式,然后抽入目标表。

一定要按照导出格式的分隔符建表,不然load数据必然出错或全是null;

excel导出格式:

格式 分隔符 中文名称
text \t  制表符
csv , 逗号

7.还要注意一点是我们从excel导出的文件格式是UTF-8 (无论是txt还是csv都是这个格式,都需要转码),我们需要把它转成utf-8才能Load。

所以在load之前,我们一般会采取两种办法:

1. 在文本编辑器中进行转码,带不带bom关系不大,然后上传;

2.在文件所在本地目录下执行以下命令转码:

piconv -f UTF-8 -t UTF-8 1.txt > 2.txt

注意,在本地目录下命令转码会改变文件名,因为此命令会把所文件写入到另一个文件,并清空原文件内容,如果我们不改名,文件内容会完全丢失。所以,我们Load的时候一定要选择修改后的文件名哦。

示例:

转码前数据:

hive> select * from students;
OK
112	��	35	2017/8/19 15:30
113	����	45	
114	³��	55	2017/8/21 15:30
115	����	NULL	
116	������	75	2017/8/23 15:30
117	������	85	2017/8/24 15:30
118	�˽�	NULL	2017/8/25 15:30
119	������	90	
120	СѾ	NULL	2017/8/27 15:30
121	����	80	2017/8/28 15:30
122	��߸	75	
123	��«��	70	2017/8/30 15:30
124	����	NULL	2017/8/31 15:30
125	�?	NULL	
126	�峤	NULL	2017/9/2 15:30
127	˾��	50	2017/9/3 15:30
128	������	58	2017/9/4 15:30
129	����	66	2017/9/5 15:30
Time taken: 0.134 seconds, Fetched: 18 row(s)

去所在目录下转码,再Load

piconv -f UTF-8 -t UTF-8 2.csv > 3.csv
# 在hive中选择正确的文件Load:
hive> load data local inpath '/export/data/3.csv' into table students;

结果:

hive> select * from students;
OK
112	小宝	35	2017/8/19 15:30
113	王明	45	
114	鲁班	55	2017/8/21 15:30
115	苗苗	NULL	
116	少林寺	75	2017/8/23 15:30
117	体育界	85	2017/8/24 15:30
118	八戒	NULL	2017/8/25 15:30
119	周芷若	90	
120	小丫	NULL	2017/8/27 15:30
121	海宝	80	2017/8/28 15:30
122	哪吒	75	
123	葫芦娃	70	2017/8/30 15:30
124	丹枫	NULL	2017/8/31 15:30
125	电工	NULL	
126	村长	NULL	2017/9/2 15:30
127	司机	50	2017/9/3 15:30
128	王世间	58	2017/9/4 15:30
129	松鼠	66	2017/9/5 15:30
Time taken: 0.106 seconds, Fetched: 18 row(s)

补充:hive导入数据出现NULL

在把hdfs上数据迁移到hive中的表时,若出现数据位NULL,是因为没有指定列分隔符。

由于hive默认的分隔符是/u0001(Ctrl+A),为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:

hive (default)> create external table et (time BIGINT, userid string, content string, urlrank int, urlnum int, url string)
  > partitioned by (filenum int) 
  > row format delimited fields terminated by '\t';

上面创建的是外部表,“导入”数据时可以用load,但若不想进行移动数据,就用命令alter来进行指向:

alter table et add partition (filenum=1) location '/input/SogouQueryLog/file1';

注意location后面跟的地址必须是个目录,若不是,可以用hdfs fs -mv src dest 进行移动数据:

hadoop fs -mv /input/SogouQueryLog/querylog_1 /input/SogouQueryLog/file1

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
python 测试实现方法
Dec 24 Python
python登陆asp网站页面的实现代码
Jan 14 Python
Python中for循环和while循环的基本使用方法
Aug 21 Python
python os用法总结
Jun 08 Python
pycharm修改文件的默认打开方式的步骤
Jul 29 Python
python socket通信编程实现文件上传代码实例
Dec 14 Python
利用python实现.dcm格式图像转为.jpg格式
Jan 13 Python
python读取图像矩阵文件并转换为向量实例
Jun 18 Python
基于tensorflow for循环 while循环案例
Jun 30 Python
多个版本的python共存时使用pip的正确做法
Oct 26 Python
Python爬虫简单运用爬取代理IP的实现
Dec 01 Python
详解Django中的FBV和CBV对比分析
Mar 01 Python
python - asyncio异步编程
Apr 06 #Python
python - timeit 时间模块
Apr 06 #Python
python制作图形界面的2048游戏, 基于tkinter
python第三方网页解析器 lxml 扩展库与 xpath 的使用方法
Apr 06 #Python
python删除csv文件的行列
Apr 06 #Python
python使用pygame创建精灵Sprite
python 逐步回归算法
You might like
PHP文件操作方法汇总
2015/07/01 PHP
php  单例模式详细介绍及实现源码
2016/11/05 PHP
浅谈javascript的原型继承
2012/07/25 Javascript
原生JavaScript实现连连看游戏(附源码)
2013/11/05 Javascript
JQuery下拉框应用示例介绍
2014/04/23 Javascript
javascript常见操作汇总
2014/09/03 Javascript
JavaScript中window.showModalDialog()用法详解
2014/12/18 Javascript
IE8下jQuery改变png图片透明度时出现的黑边
2015/08/30 Javascript
基于jquery实现智能提示控件intellSeach.js
2016/03/17 Javascript
打造自己的jQuery插件入门教程
2016/09/23 Javascript
基于vue实现多引擎搜索及关键字提示
2017/03/16 Javascript
JS模拟实现ECMAScript5新增的数组方法
2017/03/20 Javascript
JS 实现分页打印功能
2018/05/16 Javascript
vue的传参方式汇总和router使用技巧
2018/05/22 Javascript
vue中的watch监听数据变化及watch中各属性的详解
2018/09/11 Javascript
jquery操作select常见方法大全【7种情况】
2019/05/28 jQuery
vue实现二级导航栏效果
2019/10/19 Javascript
Vue中实现回车键切换焦点的方法
2020/02/19 Javascript
python批量生成本地ip地址的方法
2015/03/23 Python
使用Python的判断语句模拟三目运算
2015/04/24 Python
Python入门_学会创建并调用函数的方法
2017/05/16 Python
python队列queue模块详解
2018/04/27 Python
python 日志增量抓取实现方法
2018/04/28 Python
python 通过logging写入日志到文件和控制台的实例
2018/04/28 Python
Python3.7 pyodbc完美配置访问access数据库
2019/10/03 Python
英国100%防污和防水的靴子:Muck Boot Company
2020/09/08 全球购物
信息管理专业学生自荐信格式
2013/09/22 职场文书
本科毕业生自我鉴定
2013/11/02 职场文书
护理专业推荐信
2013/11/07 职场文书
工业自动化毕业生自荐信范文
2014/01/04 职场文书
大学生职业生涯规划书前言
2014/01/09 职场文书
护士毕业自我鉴定
2014/02/07 职场文书
英语教师个人工作总结
2015/02/09 职场文书
2015年街道办事处工作总结
2015/05/22 职场文书
2015年城乡环境综合治理工作总结
2015/07/24 职场文书
JavaScript实现简单图片切换
2021/04/29 Javascript