利用Python+Java调用Shell脚本时的死锁陷阱详解


Posted in Python onJanuary 24, 2018

前言

最近有一项需求,要定时判断任务执行条件是否满足并触发 Spark 任务,平时编写 Spark 任务时都是封装为一个 Jar 包,然后采用 Shell 脚本形式传入所需参数执行,考虑到本次判断条件逻辑复杂,只用 Shell 脚本完成不利于开发测试,所以调研使用了 Python 和 Java 分别调用 Spark 脚本的方法。

使用版本为 Python 3.6.4 及 JDK 8

Python

主要使用 subprocess 库。Python 的 API 变动比较频繁,在 3.5 之后新增了 run 方法,这大大降低了使用难度和遇见 Bug 的概率。

subprocess.run(["ls", "-l"])
subprocess.run(["sh", "/path/to/your/script.sh", "arg1", "arg2"])

为什么说使用 run 方法可以降低遇见 Bug 的概率呢?

在没有 run 方法之前,我们一般调用其他的高级方法,即 Older high-level API,比如 call,check_all,或者直接创建 Popen 对象。因为默认的输出是 console,这时如果对 API 不熟悉或者没有仔细看 doc,想要等待子进程运行完毕并获取输出,使用了 stdout = PIPE 再加上 wait 的话,当输出内容很多时会导致 Buffer 写满,进程就一直等待读取,形成死锁。在一次将 Spark 的 log 输出到 console 时,就遇到了这种奇怪的现象,下边的脚本可以模拟:

# a.sh
for i in {0..9999}; do
 echo '***************************************************'
done
p = subprocess.Popen(['sh', 'a.sh'], stdout=subprocess.PIPE)
p.wait()

而 call 则在方法内部直接调用了 wait 产生相同的效果。

要避免死锁,则必须在 wait 方法调用之前自行处理掉输入输出,或者使用推荐的 communicate 方法。 communicate 方法是在内部生成了读取线程分别读取 stdout stderr,从而避免了 Buffer 写满。而之前提到的新的 run 方法,就是在内部调用了 communicate。

stdout, stderr = process.communicate(input, timeout=timeout)

Java

说完了 Python,Java 就简单多了。

Java 一般使用 Runtime.getRuntime().exec() 或者 ProcessBuilder 调用外部脚本:

Process p = Runtime.getRuntime().exec(new String[]{"ls", "-al"});
Scanner sc = new Scanner(p.getInputStream());
while (sc.hasNextLine()) {
 System.out.println(sc.nextLine());
}
// or
Process p = new ProcessBuilder("sh", "a.sh").start(); 
p.waitFor(); // dead lock

需要注意的是:这里 stream 的方向是相对于主程序的,所以 getInputStream() 就是子进程的输出,而 getOutputStream() 是子进程的输入。

基于同样的 Buffer 原因,假如调用了 waitFor 方法等待子进程执行完毕而没有及时处理输出的话,就会造成死锁。
由于 Java API 很少变动,所以没有像 Python 那样提供新的 run 方法,但是开源社区也给出了自己的方案,如commons exec,或 http://www.baeldung.com/run-shell-command-in-java,或 alvin alexander 给出的方案(虽然不完整)。

// commons exec,要想获取输出的话,相比 python 来说要复杂一些
CommandLine commandLine = CommandLine.parse("sh a.sh");
  
ByteArrayOutputStream out = new ByteArrayOutputStream();
PumpStreamHandler streamHandler = new PumpStreamHandler(out);
  
Executor executor = new DefaultExecutor();
executor.setStreamHandler(streamHandler);
executor.execute(commandLine);
  
String output = new String(out.toByteArray());

但其中的思想和 Python 都是统一的,就是在后台开启新线程读取子进程的输出,防止 Buffer 写满。

另一个统一思想的地方就是,都推荐使用数组或 list 将输入的 shell 命令分隔成多段,这样的话就由系统来处理空格等特殊字符问题。

参考:

https://dcreager.net/2009/08/06/subprocess-communicate-drawbacks/ https://alvinalexander.com/java/java-exec-processbuilder-process-1 https://www.javaworld.com/article/2071275/core-java/when-runtime-exec—won-t.html

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python获取Linux系统下的本机IP地址代码分享
Nov 07 Python
Flask框架的学习指南之开发环境搭建
Nov 20 Python
Python 绘图和可视化详细介绍
Feb 11 Python
Python实现的爬取网易动态评论操作示例
Jun 06 Python
Python实现读写INI配置文件的方法示例
Jun 09 Python
python递归全排列实现方法
Aug 18 Python
python根据文章标题内容自动生成摘要的实例
Feb 21 Python
pyqt5利用pyqtDesigner实现登录界面
Mar 28 Python
pytorch 实现模型不同层设置不同的学习率方式
Jan 06 Python
tensorflow 实现数据类型转换
Feb 17 Python
Python restful框架接口开发实现
Apr 13 Python
使用python对excel表格处理的一些小功能
Jan 25 Python
python做量化投资系列之比特币初始配置
Jan 23 #Python
python在非root权限下的安装方法
Jan 23 #Python
Python解析命令行读取参数--argparse模块使用方法
Jan 23 #Python
Python 查看文件的读写权限方法
Jan 23 #Python
Python3 中文文件读写方法
Jan 23 #Python
Python3之文件读写操作的实例讲解
Jan 23 #Python
Python实现邮件的批量发送的示例代码
Jan 23 #Python
You might like
smtp邮件发送一例
2006/10/09 PHP
珊瑚虫IP库浅析
2007/02/15 PHP
php调用KyotoTycoon简单实例
2015/04/02 PHP
详解PHP原生DOM对象操作XML的方法
2016/10/17 PHP
php基于dom实现读取图书xml格式数据的方法
2017/02/03 PHP
Zend Framework数据库操作技巧总结
2017/02/18 PHP
Laravel框架源码解析之反射的使用详解
2020/05/14 PHP
为jQuery增加join方法的实现代码
2010/11/28 Javascript
xss文件页面内容读取(解决)
2010/11/28 Javascript
document.getElementById获取控件对象为空的解决方法
2013/11/20 Javascript
JavaScript静态类型检查工具FLOW简介
2015/01/06 Javascript
分享两个手机访问pc网站自动跳转手机端网站代码
2020/12/24 Javascript
JS简单模拟触发按钮点击功能的方法
2015/11/30 Javascript
js如何判断输入字符串长度
2015/12/16 Javascript
SelectPage v2.4 发布新增纯下拉列表和关闭分页功能
2017/09/07 Javascript
VUE 使用中踩过的坑
2018/02/08 Javascript
vue实现行列转换的一种方法
2019/08/06 Javascript
用Python脚本来删除指定容量以上的文件的教程
2015/05/04 Python
python字符串编码识别模块chardet简单应用
2015/06/15 Python
windows系统下Python环境搭建教程
2017/03/28 Python
python实现图书借阅系统
2019/02/20 Python
django-xadmin根据当前登录用户动态设置表单字段默认值方式
2020/03/13 Python
如何基于python对接钉钉并获取access_token
2020/04/21 Python
深入浅析css3 border-image边框图像详解
2015/11/24 HTML / CSS
HTML5中新标签和常用标签详解
2014/03/07 HTML / CSS
百思买美国官网:Best Buy
2016/07/28 全球购物
Nike墨西哥官网:Nike MX
2020/08/30 全球购物
市场营销专业毕业生自荐信
2013/11/02 职场文书
分厂厂长岗位职责
2013/12/29 职场文书
大学生个人自荐信
2014/02/24 职场文书
中班下学期个人总结
2015/02/12 职场文书
幼儿园六一主持词
2015/06/30 职场文书
校运会新闻稿
2015/07/17 职场文书
2015年初中教务处工作总结
2015/07/21 职场文书
2015年防灾减灾工作总结
2015/07/24 职场文书
班级班风口号大全
2015/12/25 职场文书