python读取hdfs上的parquet文件方式


Posted in Python onJune 06, 2020

在使用python做大数据和机器学习处理过程中,首先需要读取hdfs数据,对于常用格式数据一般比较容易读取,parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以):

1、安装anaconda环境。

2、安装hdfs3。

conda install hdfs3

3、安装fastparquet。

conda install fastparquet

4、安装python-snappy。

conda install python-snappy

5、读取文件

##namenode mode:
from hdfs3 import HDFileSystem
from fastparquet import ParquetFile
 
hdfs = HDFileSystem(host=IP, port=8020)
sc = hdfs.open
 
pf = ParquetFile(filename, open_with=sc)
df = pf.to_pandas()
 
##返回pandas的DataFrame类型
 
##HA mode:
from hdfs3 import HDFileSystem
from fastparquet import ParquetFile
 
host = "nameservice1"
conf = {
    "dfs.nameservices":"nameservice1",
    ......
}
hdfs = HDFileSystem(host = host, pars = conf)
......

python访问HDFS HA的三种方法

python访问hdfs常用的包有三个,如下:

1、hdfs3

其实从安装便捷性和使用上来说,并不推荐hdfs3,因为他的系统依赖和网络要求较高,但是某些情况下使用hdfs3会比较方便,官网资料点这里。如上面介绍,IP直接访问namenode:

from hdfs3 import HDFileSystem
hdfs = HDFileSystem(host=namenode, port=8020)
hdfs.ls('/tmp')

HA访问:

host = "nameservice1"
conf = {"dfs.nameservices": "nameservice1",
    "dfs.ha.namenodes.nameservice1": "namenode113,namenode188",
    "dfs.namenode.rpc-address.nameservice1.namenode113": "hostname_of_server1:8020",
    "dfs.namenode.rpc-address.nameservice1.namenode188": "hostname_of_server2:8020",
    "dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server1:50070",
    "dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server2:50070",
    "hadoop.security.authentication": "kerberos"
}
fs = HDFileSystem(host=host, pars=conf)
 
##或者下面这种配置
host = "ns1"
conf = {
    "dfs.nameservices":"ns1",
 "dfs.ha.namenodes.ns1":"namenode122,namenode115",
 "dfs.namenode.rpc-address.ns1.namenode122":"nnlab01:8020",
 "dfs.namenode.servicerpc-address.ns1.namenode122":"nnlab01:8022",
 "dfs.namenode.http-address.ns1.namenode122":"nnlab01:50070",
 "dfs.namenode.https-address.ns1.namenode122":"nnlab01:50470",
 "dfs.namenode.rpc-address.ns1.namenode115":"nnlab02:8020",
 "dfs.namenode.servicerpc-address.ns1.namenode115":"nnlab02:8022",
 "dfs.namenode.http-address.ns1.namenode115":"nnlab02:50070",
 "dfs.namenode.https-address.ns1.namenode115":"nnlab02:50470",
}
hdfs = HDFileSystem(host = host, pars = conf)

2、hdfs

这种方法在使用的时候配置比较简单,官网资料也比较丰富,但是需要注意的是该API可以模拟用户访问,权限较大。IP直接访问:

import hdfs
client = hdfs.client.InsecureClient(url="http://namenode:50070", user="hdfs")

HA访问:

import hdfs
client = hdfs.client.InsecureClient(url="http://namenode1:50070;http://namenode2:50070", user="hdfs")

3、pyhdfs

安装命令:pip install PyHDFS

官网地址,直接访问:

import pyhdfs
client = pyhdfs.HdfsClient(hosts="namenode:50070",user_name="hdfs")

HA访问

import pyhdfs
client = pyhdfs.HdfsClient(hosts=["namenode1:50070","namenode2:50070"],user_name="hdfs")

补充知识:python spark中parquet文件写到hdfs,同时避免太多的小文件(block小文件合并)

在pyspark中,使用数据框的文件写出函数write.parquet经常会生成太多的小文件,例如申请了100个block,而每个block中的结果

只有几百K,这在机器学习算法的结果输出中经常出现,这是一种很大的资源浪费,那么如何同时避免太多的小文件(block小文件合并)?

其实有一种简单方法,该方法需要你对输出结果的数据量有个大概估计,然后使用Dataframe中的coalesce函数来指定输出的block数量

即可,具体使用代码如下:

df.coalesce(2).write.parquet(path,mode)

这里df是指你要写出的数据框,coalesce(2)指定了写到2个block中,一个block默认128M,path是你的写出路径,mode是写出模式,常用的是

"overwrite"和"append"。

以上这篇python读取hdfs上的parquet文件方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用SAX解析xml实例
Nov 21 Python
Python中if __name__ == '__main__'作用解析
Jun 29 Python
Python批处理更改文件名os.rename的方法
Oct 26 Python
opencv与numpy的图像基本操作
Mar 08 Python
django rest framework vue 实现用户登录详解
Jul 29 Python
Python代理IP爬虫的新手使用教程
Sep 05 Python
python-numpy-指数分布实例详解
Dec 07 Python
mac 上配置Pycharm连接远程服务器并实现使用远程服务器Python解释器的方法
Mar 19 Python
Python实现Wordcloud生成词云图的示例
Mar 30 Python
Pytorch转keras的有效方法,以FlowNet为例讲解
May 26 Python
Python必须了解的35个关键词
Jul 16 Python
python基础详解之if循环语句
Apr 24 Python
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
Jun 06 #Python
完美解决python针对hdfs上传和下载的问题
Jun 05 #Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
JAVA SWT事件四种写法实例解析
Jun 05 #Python
pandas 像SQL一样使用WHERE IN查询条件说明
Jun 05 #Python
You might like
php 遍历数据表数据并列表横向排列的代码
2009/09/05 PHP
探讨PHP中this,self,parent的区别详解
2013/06/08 PHP
php+mysqli批量查询多张表数据的方法
2015/01/29 PHP
PHP实现简易blog的制作
2016/10/24 PHP
php使用正则表达式获取字符串中的URL
2016/12/29 PHP
在云虚拟主机部署thinkphp5项目的步骤详解
2017/12/21 PHP
tp框架(thinkPHP)实现三次登陆密码错误之后锁定账号功能示例
2018/05/24 PHP
Exjs 入门篇
2010/04/07 Javascript
JS实现悬浮移动窗口(悬浮广告)的特效
2013/03/12 Javascript
jQuery学习笔记(4)--Jquery中获取table中某列值的具体思路
2013/04/10 Javascript
在Mac OS下使用Node.js的简单教程
2015/06/24 Javascript
基于jQuery实现select下拉选择可输入附源码下载
2016/02/03 Javascript
原生javascript实现解析XML文档与字符串
2016/03/01 Javascript
基于jQuery下拉选择框插件支持单选多选功能代码
2016/06/07 Javascript
electron中使用bootstrap的示例代码
2018/11/06 Javascript
谈谈为什么你的 JavaScript 代码如此冗长
2019/01/30 Javascript
详释JavaScript执行环境与执行栈
2019/04/02 Javascript
使用RxJS更优雅地进行定时请求详析
2019/06/02 Javascript
微信小程序通过js实现瀑布流布局详解
2019/08/28 Javascript
JavaScript鼠标拖拽事件详解
2020/04/03 Javascript
彻底搞懂并解决vue-cli4中图片显示的问题实现
2020/08/31 Javascript
Python中关于字符串对象的一些基础知识
2015/04/08 Python
python实现指定字符串补全空格、前面填充0的方法
2018/11/16 Python
python爬虫可以爬什么
2020/06/16 Python
公认8个效率最高的爬虫框架
2020/07/28 Python
Python实现文件压缩和解压的示例代码
2020/08/12 Python
如何使用css3实现一个类在线直播的队列动画的示例代码
2020/06/17 HTML / CSS
为智能设备设计个性化保护套网站:caseable
2017/01/05 全球购物
美国地毯购买网站:Rugs USA
2019/02/23 全球购物
房地产推广策划方案
2014/05/19 职场文书
党的群众路线教育实践活动对照检查材料
2014/09/22 职场文书
幼儿园开学报名通知
2015/07/16 职场文书
Html5获取用户当前位置的几种方式
2022/01/18 HTML / CSS
十大冰系宝可梦排名,颜值最高的阿罗拉九尾,第三使用率第一
2022/03/18 日漫
vue使用wavesurfer.js解决音频可视化播放问题
2022/04/04 Vue.js
解决springboot druid数据库连接失败后一直重连的方法
2022/04/19 Java/Android