首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

完美解决python针对hdfs上传和下载的问题

Posted in Python onJune 05, 2020

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中

修改/etc/hosts文件，将各个集群节点ip映射加上即可，如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

补充知识：python上传文件到hadoop异常问题

使用库：pyhdfs

调用方法：

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图：

完美解决python针对hdfs上传和下载的问题

异常现象2如下图：

完美解决python针对hdfs上传和下载的问题

异常现象3如下图：

完美解决python针对hdfs上传和下载的问题

原因分析：可以看出，以上都是连接成功了，但是上传或者下载失败了，造成这种现象的原因是

我这里连接的是name节点，端口50070，当调用copy_from_local（）时，name节点会主动去连接data节点进行数据读写操作，而data节点端口50075没有开启，造成data节点连接超时，抛出异常

解决办法：开启data节点端口

以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持三水点靠木。

完美解决python针对hdfs上传和下载的问题

- Author -

huanbia

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
使用Django的模版来配合字符串翻译工作
Jul 27 Python
python编写朴素贝叶斯用于文本分类
Dec 21 Python
Django使用详解:ORM 的反向查找(related_name)
May 30 Python
flask框架使用orm连接数据库的方法示例
Jul 16 Python
Django实现单用户登录的方法示例
Mar 28 Python
Python 3 实现定义跨模块的全局变量和使用教程
Jul 07 Python
python KNN算法实现鸢尾花数据集分类
Oct 24 Python
python实现五子棋游戏（pygame版）
Jan 19 Python
Python实现获取当前目录下文件名代码详解
Mar 10 Python
浅谈在JupyterNotebook下导入自己的模块的问题
Apr 16 Python
学习python需要有编程基础吗
Jun 02 Python
Python 图片添加美颜效果
Apr 28 Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
JAVA SWT事件四种写法实例解析
Jun 05 #Python
pandas 像SQL一样使用WHERE IN查询条件说明
Jun 05 #Python
基于Python爬虫采集天气网实时信息
Jun 05 #Python
浅谈pymysql查询语句中带有in时传递参数的问题
Jun 05 #Python
apply(1) agg(1) 音频(1) pandas(7) 数据处理(2) 数组(5) GUI(2) mp3Play(1) 矩阵(1) Tkinter(4)
You might like
PHP写杨辉三角实例代码
2011/07/17 PHP
请离开include_once和require_once
2013/07/18 PHP
php中array_multisort对多维数组排序的方法
2020/06/21 PHP
在WordPress中使用wp_count_posts函数来统计文章数量
2016/01/05 PHP
THINKPHP3.2使用soap连接webservice的解决方法
2017/12/13 PHP
php利用ob_start()清除输出和选择性输出的方法
2018/01/18 PHP
laravel框架分组控制器和分组路由实现方法示例
2020/01/25 PHP
Json字符串转换为JS对象的高效方法实例
2013/05/01 Javascript
js实现右下角可关闭最小化div(可用于展示推荐内容)
2013/06/24 Javascript
wap图片滚动特效无css3元素纯js脚本编写
2014/08/22 Javascript
javascript实现日期时间动态显示示例代码
2015/09/08 Javascript
js实现搜索框关键字智能匹配代码
2020/03/26 Javascript
深入理解JS中的Function.prototype.bind()方法
2016/10/11 Javascript
BootStrap 可编辑表Table格
2016/11/24 Javascript
jQuery中的siblings()是什么意思(推荐)
2016/12/29 Javascript
解决Vue 浏览器后退无法触发beforeRouteLeave的问题
2017/12/24 Javascript
vue项目实现记住密码到cookie功能示例(附源码)
2018/01/31 Javascript
Angular 如何使用第三方库的方法
2018/04/18 Javascript
apicloud拉起小程序并传递参数的方法示例
2018/11/21 Javascript
在 Vue.js中优雅地使用全局事件的方法
2019/02/01 Javascript
vue路由对不同界面进行传参及跳转的总结
2019/04/20 Javascript
手把手教你实现 Promise的使用方法
2020/09/02 Javascript
Python开发编码规范
2006/09/08 Python
初步理解Python进程的信号通讯
2015/04/09 Python
python pandas修改列属性的方法详解
2018/06/09 Python
Python利用heapq实现一个优先级队列的方法
2019/02/03 Python
网易有道2017内推编程题 洗牌（python）
2019/06/19 Python
Django自带的加密算法及加密模块详解
2019/12/03 Python
Numpy一维线性插值函数的用法
2020/04/22 Python
解决python使用list()时总是报错的问题
2020/05/05 Python
python 获取字典特定值对应的键的实现
2020/09/29 Python
css3弹性盒模型（Flexbox）详细介绍
2014/10/08 HTML / CSS
实习公司领导推荐函
2014/05/21 职场文书
企业财务管理制度范本
2015/08/04 职场文书
Python matplotlib 利用随机函数生成变化图形
2022/04/26 Python
浅谈Node的内存泄露问题
2022/05/06 NodeJs