用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试


Posted in Python onJuly 14, 2014

MapReduce与HDFS简介
什么是Hadoop?

Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统Google File System,并发布了相关论文(可在Google Research的网站上获得: GFS 、 MapReduce)。 Doug Cutting和Mike Cafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现,即同名的MapReduce和HDFS,合起来就是Hadoop。

MapReduce的Data flow如下图,原始数据经过mapper处理,再进行partition和sort,到达reducer,输出最后结果。

用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试

图片来自Hadoop: The Definitive Guide

Hadoop Streaming原理
Hadoop本身是用Java开发的,程序也需要用Java编写,但是通过Hadoop Streaming,我们可以使用任意语言来编写程序,让Hadoop运行。

Hadoop Streaming的相关源代码可以在Hadoop的Github repo 查看。简单来说,就是通过将用其他语言编写的mapper和reducer通过参数传给一个事先写好的Java程序(Hadoop自带的*-streaming.jar),这个Java程序会负责创建MR作业,另开一个进程来运行mapper,将得到的输入通过stdin传给它,再将mapper处理后输出到stdout的数据交给Hadoop,partition和sort之后,再另开进程运行reducer,同样地通过stdin/stdout得到最终结果。因此,我们只需要在其他语言编写的程序里,通过stdin接收数据,再将处理过的数据输出到stdout,Hadoop streaming就能通过这个Java的wrapper帮我们解决中间繁琐的步骤,运行分布式程序。

用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试

图片来自Hadoop: The Definitive Guide

原理上只要是能够处理stdio的语言都能用来写mapper和reducer,也可以指定mapper或reducer为Linux下的程序(如awk、grep、cat)或者按照一定格式写好的java class。因此,mapper和reducer也不必是同一类的程序。

Hadoop Streaming的优缺点

优点

可以使用自己喜欢的语言来编写MapReduce程序(换句话说,不必写Java XD)
不需要像写Java的MR程序那样import一大堆库,在代码里做一大堆配置,很多东西都抽象到了stdio上,代码量显著减少
因为没有库的依赖,调试方便,并且可以脱离Hadoop先在本地用管道模拟调试

缺点

只能通过命令行参数来控制MapReduce框架,不像Java的程序那样可以在代码里使用API,控制力比较弱,有些东西鞭长莫及
因为中间隔着一层处理,效率会比较慢
所以Hadoop Streaming比较适合做一些简单的任务,比如用python写只有一两百行的脚本。如果项目比较复杂,或者需要进行比较细致的优化,使用Streaming就容易出现一些束手束脚的地方。

用python编写简单的Hadoop Streaming程序

这里提供两个例子:

Michael Noll的word count程序
Hadoop: The Definitive Guide里的例程
使用python编写Hadoop Streaming程序有几点需要注意:

在能使用iterator的情况下,尽量使用iterator,避免将stdin的输入大量储存在内存里,否则会严重降低性能

streaming不会帮你分割key和value传进来,传进来的只是一个个字符串而已,需要你自己在代码里手动调用split()

从stdin得到的每一行数据末尾似乎会有\n,保险起见一般都需要使用rstrip()来去掉

在想获得K-V list而不是一个个处理key-value pair时,可以使用groupby配合itemgetter将key相同的k-v pair组成一个个group,得到类似Java编写的reduce可以直接获取一个Text类型的key和一个iterable作为value的效果。注意itemgetter的效率比lambda表达式要高,所以如果需求不是很复杂的话,尽量用itemgetter比较好。

我在编写Hadoop Streaming程序时的基本模版是

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
Some description here...
"""

import sys
from operator import itemgetter
from itertools import groupby

def read_input(file):
 """Read input and split."""
 for line in file:
  yield line.rstrip().split('\t')

def main():
 data = read_input(sys.stdin)
 for key, kviter in groupby(data, itemgetter(0)):
  # some code here..

if __name__ == "__main__":
 main()

如果对输入输出格式有不同于默认的控制,主要会在read_input()里调整。

本地调试

本地调试用于Hadoop Streaming的python程序的基本模式是:

$ cat <input path> | python <path to mapper script> | sort -t $'\t' -k1,1 | python <path to reducer script> > <output path>

或者如果不想用多余的cat,也可以用<定向

$ python <path to mapper script> < <input path> | sort -t $'\t' -k1,1 | python <path to reducer script> > <output path>

这里有几点需要注意:

Hadoop默认按照tab来分割key和value,以第一个分割出的部分为key,按key进行排序,因此这里使用

sort -t $'\t' -k1,1
来模拟。如果你有其他需求,在交给Hadoop Streaming执行时可以通过命令行参数调,本地调试也可以进行相应的调整,主要是调整sort的参数。因此为了能够熟练进行本地调试,建议先掌握sort命令的用法。

如果你在python脚本里加上了shebang,并且为它们添加了执行权限,也可以用类似于

./mapper.py

来代替

python mapper.py
Python 相关文章推荐
详解Python中heapq模块的用法
Jun 28 Python
python实现获取Ip归属地等信息
Aug 27 Python
老生常谈python的私有公有属性(必看篇)
Jun 09 Python
Python subprocess模块常见用法分析
Jun 12 Python
Python实现二维曲线拟合的方法
Dec 29 Python
利用python numpy+matplotlib绘制股票k线图的方法
Jun 26 Python
Pytorch反向求导更新网络参数的方法
Aug 17 Python
Python3 使用map()批量的转换数据类型,如str转float的实现
Nov 29 Python
详解python 中in 的 用法
Dec 12 Python
python分别打包出32位和64位应用程序
Feb 18 Python
Python logging日志模块 配置文件方式
Jul 12 Python
Pytorch之扩充tensor的操作
Mar 04 Python
用python + openpyxl处理excel2007文档思路以及心得
Jul 14 #Python
Python库urllib与urllib2主要区别分析
Jul 13 #Python
Python文件夹与文件的操作实现代码
Jul 13 #Python
分享15个最受欢迎的Python开源框架
Jul 13 #Python
使用 Python 获取 Linux 系统信息的代码
Jul 13 #Python
Python文件操作类操作实例详解
Jul 11 #Python
Python编写检测数据库SA用户的方法
Jul 11 #Python
You might like
我的论坛源代码(六)
2006/10/09 PHP
PHP+Redis 消息队列 实现高并发下注册人数统计的实例
2018/01/29 PHP
javascript显示隐藏层比较不错的方法分析
2008/09/30 Javascript
Jquery.addClass始终无效原因分析
2013/09/08 Javascript
解析Javascript小括号“()”的多义性
2013/12/03 Javascript
如何在JavaScript中实现私有属性的写类方式(二)
2013/12/04 Javascript
JS 数字转换研究总结
2013/12/26 Javascript
javascript实现的淘宝旅行通用日历组件用法实例
2015/08/03 Javascript
MVC Ajax Helper或Jquery异步加载部分视图
2015/11/29 Javascript
4种JavaScript实现简单tab选项卡切换的方法
2016/01/06 Javascript
微信 java 实现js-sdk 图片上传下载完整流程
2016/10/21 Javascript
给easyui datebox扩展一个清空的实例
2016/11/09 Javascript
jquery实现折叠菜单效果【推荐】
2017/03/08 Javascript
div中文字内容溢出常见的解决方法
2017/03/16 Javascript
Vue.js 2.0和Cordova开发webApp环境搭建方法
2018/02/26 Javascript
使用sessionStorage解决vuex在页面刷新后数据被清除的问题
2018/04/13 Javascript
详解如何在vscode里面调试js和node.js的方法步骤
2018/12/24 Javascript
Vue编写可显示周和月模式的日历 Vue自定义日历内容的显示
2019/06/26 Javascript
ES6使用 Array.includes 处理多重条件用法实例分析
2020/03/02 Javascript
使用eslint和githooks统一前端风格的技巧
2020/07/29 Javascript
Javascript柯里化实现原理及作用解析
2020/10/22 Javascript
[48:26]VGJ.S vs infamous Supermajor 败者组 BO3 第二场 6.4
2018/06/05 DOTA
Windows下Python的Django框架环境部署及应用编写入门
2016/03/10 Python
Python多线程threading模块用法实例分析
2019/05/22 Python
使用python写一个自动浏览文章的脚本实例
2019/12/05 Python
解决pycharm中的run和debug失效无法点击运行
2020/06/09 Python
美国最大的香水出口:FragranceX.com
2017/11/04 全球购物
实习教师自我鉴定
2013/09/27 职场文书
社区母亲节活动方案
2014/03/05 职场文书
高三学生评语大全
2014/04/25 职场文书
运动会口号大全
2014/06/07 职场文书
2014年学校总务处工作总结
2014/12/08 职场文书
Javascript中的解构赋值语法详解
2021/04/02 Javascript
Python序列化与反序列化相关知识总结
2021/06/08 Python
Mysql数据库手动及定时备份步骤
2021/11/07 MySQL
Android开发实现极为简单的QQ登录页面
2022/04/24 Java/Android