python读取hdfs上的parquet文件方式


Posted in Python onJune 06, 2020

在使用python做大数据和机器学习处理过程中,首先需要读取hdfs数据,对于常用格式数据一般比较容易读取,parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以):

1、安装anaconda环境。

2、安装hdfs3。

conda install hdfs3

3、安装fastparquet。

conda install fastparquet

4、安装python-snappy。

conda install python-snappy

5、读取文件

##namenode mode:
from hdfs3 import HDFileSystem
from fastparquet import ParquetFile
 
hdfs = HDFileSystem(host=IP, port=8020)
sc = hdfs.open
 
pf = ParquetFile(filename, open_with=sc)
df = pf.to_pandas()
 
##返回pandas的DataFrame类型
 
##HA mode:
from hdfs3 import HDFileSystem
from fastparquet import ParquetFile
 
host = "nameservice1"
conf = {
    "dfs.nameservices":"nameservice1",
    ......
}
hdfs = HDFileSystem(host = host, pars = conf)
......

python访问HDFS HA的三种方法

python访问hdfs常用的包有三个,如下:

1、hdfs3

其实从安装便捷性和使用上来说,并不推荐hdfs3,因为他的系统依赖和网络要求较高,但是某些情况下使用hdfs3会比较方便,官网资料点这里。如上面介绍,IP直接访问namenode:

from hdfs3 import HDFileSystem
hdfs = HDFileSystem(host=namenode, port=8020)
hdfs.ls('/tmp')

HA访问:

host = "nameservice1"
conf = {"dfs.nameservices": "nameservice1",
    "dfs.ha.namenodes.nameservice1": "namenode113,namenode188",
    "dfs.namenode.rpc-address.nameservice1.namenode113": "hostname_of_server1:8020",
    "dfs.namenode.rpc-address.nameservice1.namenode188": "hostname_of_server2:8020",
    "dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server1:50070",
    "dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server2:50070",
    "hadoop.security.authentication": "kerberos"
}
fs = HDFileSystem(host=host, pars=conf)
 
##或者下面这种配置
host = "ns1"
conf = {
    "dfs.nameservices":"ns1",
 "dfs.ha.namenodes.ns1":"namenode122,namenode115",
 "dfs.namenode.rpc-address.ns1.namenode122":"nnlab01:8020",
 "dfs.namenode.servicerpc-address.ns1.namenode122":"nnlab01:8022",
 "dfs.namenode.http-address.ns1.namenode122":"nnlab01:50070",
 "dfs.namenode.https-address.ns1.namenode122":"nnlab01:50470",
 "dfs.namenode.rpc-address.ns1.namenode115":"nnlab02:8020",
 "dfs.namenode.servicerpc-address.ns1.namenode115":"nnlab02:8022",
 "dfs.namenode.http-address.ns1.namenode115":"nnlab02:50070",
 "dfs.namenode.https-address.ns1.namenode115":"nnlab02:50470",
}
hdfs = HDFileSystem(host = host, pars = conf)

2、hdfs

这种方法在使用的时候配置比较简单,官网资料也比较丰富,但是需要注意的是该API可以模拟用户访问,权限较大。IP直接访问:

import hdfs
client = hdfs.client.InsecureClient(url="http://namenode:50070", user="hdfs")

HA访问:

import hdfs
client = hdfs.client.InsecureClient(url="http://namenode1:50070;http://namenode2:50070", user="hdfs")

3、pyhdfs

安装命令:pip install PyHDFS

官网地址,直接访问:

import pyhdfs
client = pyhdfs.HdfsClient(hosts="namenode:50070",user_name="hdfs")

HA访问

import pyhdfs
client = pyhdfs.HdfsClient(hosts=["namenode1:50070","namenode2:50070"],user_name="hdfs")

补充知识:python spark中parquet文件写到hdfs,同时避免太多的小文件(block小文件合并)

在pyspark中,使用数据框的文件写出函数write.parquet经常会生成太多的小文件,例如申请了100个block,而每个block中的结果

只有几百K,这在机器学习算法的结果输出中经常出现,这是一种很大的资源浪费,那么如何同时避免太多的小文件(block小文件合并)?

其实有一种简单方法,该方法需要你对输出结果的数据量有个大概估计,然后使用Dataframe中的coalesce函数来指定输出的block数量

即可,具体使用代码如下:

df.coalesce(2).write.parquet(path,mode)

这里df是指你要写出的数据框,coalesce(2)指定了写到2个block中,一个block默认128M,path是你的写出路径,mode是写出模式,常用的是

"overwrite"和"append"。

以上这篇python读取hdfs上的parquet文件方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
深入Python函数编程的一些特性
Apr 13 Python
Python2.x版本中基本的中文编码问题解决
Oct 12 Python
Django中的Signal代码详解
Feb 05 Python
代码讲解Python对Windows服务进行监控
Feb 11 Python
Python爬虫实战:分析《战狼2》豆瓣影评
Mar 26 Python
Django 忘记管理员或忘记管理员密码 重设登录密码的方法
May 30 Python
基于DATAFRAME中元素的读取与修改方法
Jun 08 Python
Python登录注册验证功能实现
Jun 18 Python
Python上下文管理器全实例详解
Nov 12 Python
代码总结Python2 和 Python3 字符串的区别
Jan 28 Python
python如何提取英语pdf内容并翻译
Mar 03 Python
python基础之文件处理知识总结
May 23 Python
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
Jun 06 #Python
完美解决python针对hdfs上传和下载的问题
Jun 05 #Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
JAVA SWT事件四种写法实例解析
Jun 05 #Python
pandas 像SQL一样使用WHERE IN查询条件说明
Jun 05 #Python
You might like
使用php+Ajax实现唯一校验实现代码[简单应用]
2011/11/29 PHP
JS中encodeURIComponent函数用php解码的代码
2012/03/01 PHP
php递归获取目录内文件(包含子目录)封装类分享
2013/12/25 PHP
php操作redis中的hash和zset类型数据的方法和代码例子
2014/07/05 PHP
PHP中变量引用与变量销毁机制分析
2014/11/15 PHP
Yii2中如何使用modal弹窗(基本使用)
2016/05/30 PHP
注释PHP和html混合代码的小技巧(分享)
2016/11/03 PHP
Laravel5中Cookie的使用详解
2017/05/03 PHP
jquery text,radio,checkbox,select操作实现代码
2009/07/09 Javascript
JavaScript高级程序设计(第3版)学习笔记2 js基础语法
2012/10/11 Javascript
ajax上传时参数提交不更新等相关问题
2012/12/11 Javascript
NodeJS学习笔记之Connect中间件模块(一)
2015/01/27 NodeJs
JavaScript实现搜索框的自动完成功能(一)
2016/02/25 Javascript
node+vue实现用户注册和头像上传的实例代码
2017/07/20 Javascript
JavaScript requestAnimationFrame动画详解
2017/09/14 Javascript
浅谈vue路径优化之resolve
2017/10/13 Javascript
jQuery基于cookie实现换肤功能实例
2017/10/14 jQuery
解决vue页面DOM操作不生效的问题
2018/03/17 Javascript
为vue项目自动设置请求状态的配置方法
2019/06/09 Javascript
layer弹出层显示在top顶层的方法
2019/09/11 Javascript
vue实现pdf文档在线预览功能
2019/11/26 Javascript
[37:45]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS Orenda
2014/05/22 DOTA
[01:55]2014DOTA2国际邀请赛 BBC正赛第一天总结
2014/07/10 DOTA
一则python3的简单爬虫代码
2014/05/26 Python
Windows下实现Python2和Python3两个版共存的方法
2015/06/12 Python
Python验证码识别处理实例
2015/12/28 Python
用Python读取几十万行文本数据
2018/12/24 Python
Python中如何导入类示例详解
2019/04/17 Python
python3用PIL把图片转换为RGB图片的实例
2019/07/04 Python
python机器学习包mlxtend的安装和配置详解
2019/08/21 Python
pandas dataframe 中的explode函数用法详解
2020/05/18 Python
基于python实现破解滑动验证码过程解析
2020/05/28 Python
“型”走纽约上东区:Sam Edelman
2017/04/02 全球购物
Java中各种基本数据类型的默认值都是什么
2016/12/22 面试题
森林防火宣传标语
2014/06/27 职场文书
交通事故调解协议书
2015/05/20 职场文书