详解Python中logging日志模块在多进程环境下的使用


Posted in Javascript onDecember 26, 2016

前言

相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析。Python 的 logging 模块就是这种情况下的好帮手。

logging 模块可以指定日志的级别,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别。(如果不特别指定,默认级别是 warning)

logging 还可以指定输出到命令行或者文件,还可以按时间或大小分割日志文件。

关于 logging 的详细使用,这里就不再细说,可以参考官方文档,或者这里的介绍。

logging 的配置

通常情况下,我们需要将日志保存到文件中,并期望能自动分割文件,避免日志文件太大。下面给出了一个 logging 的配置例子。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

我们在一个模块内,就可以这么使用来记录日志

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

按照官方文档的介绍,logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的。但是(对,这里有个但是)多个进程往同一个文件写日志不是安全的。官方的说法是这样的:

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有的人会说,那我不用多进程不就可以了。但是 Python 有一个 GIL 的大锁(关于 GIL 的纠葛可以看这里),使用多线程是没法利用到多核 CPU 的,大部分情况下会改用多进程来利用多核 CPU,因此我们还是绕不开不开多进程下日志的问题。

为了解决这个问题,可以使用 ConcurrentLogHandler,ConcurrentLogHandler 可以在多进程环境下安全的将日志写入到同一个文件,并且可以在日志文件达到特定大小时,分割日志文件。在默认的 logging 模块中,有个 TimedRotatingFileHandler 类,可以按时间分割日志文件,可惜 ConcurrentLogHandler 不支持这种按时间分割日志文件的方式。

重新修改下 handlers 中的 class。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类,在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行后可以发现,会自动创建一个.lock文件,通过锁的方式来安全的写日志文件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
js innerHTML 的一些问题的解决方法
Jun 22 Javascript
学习ExtJS form布局
Oct 08 Javascript
JavaScript获得页面base标签中url的方法
Apr 03 Javascript
jQuery动画效果相关方法实例分析
Dec 31 Javascript
JavaScript蒙板(model)功能的简单实现代码
Aug 04 Javascript
js仿iphone秒表功能 计算平均数
Jan 11 Javascript
在 Typescript 中使用可被复用的 Vue Mixin功能
Apr 17 Javascript
Node.js中的cluster模块深入解读
Jun 11 Javascript
微信小程序模拟cookie的实现
Jun 20 Javascript
AngularJS ui-router刷新子页面路由的方法
Jul 23 Javascript
vue获取元素宽、高、距离左边距离,右,上距离等还有XY坐标轴的方法
Sep 05 Javascript
微信小程序生成分享海报方法(附带二维码生成)
Mar 29 Javascript
Angular的事件和表单详解
Dec 26 #Javascript
Angular的MVC和作用域
Dec 26 #Javascript
JS中用try catch对代码运行的性能影响分析
Dec 26 #Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
Dec 26 #Javascript
Angular的$http与$location
Dec 26 #Javascript
Angular ng-repeat指令实例以及扩展部分
Dec 26 #Javascript
详解Angular的内置过滤器和自定义过滤器【推荐】
Dec 26 #Javascript
You might like
PHP中开发XML应用程序之基础篇 添加节点 删除节点 查询节点 查询节
2010/07/09 PHP
php 保留字列表
2012/10/04 PHP
php接口与接口引用的深入解析
2013/08/09 PHP
php读取excel文件示例分享(更新修改excel)
2014/02/27 PHP
php检测文件编码的方法示例
2014/04/25 PHP
如何使用Gitblog和Markdown建自己的博客
2015/07/31 PHP
Zend Framework教程之Zend_Registry对象用法分析
2016/03/22 PHP
ExtJs 表单提交登陆实现代码
2010/08/19 Javascript
JavaScript学习笔记之Cookie对象
2015/01/22 Javascript
javascript中的Base64、UTF8编码与解码详解
2015/03/18 Javascript
jQuery遍历DOM的父级元素、子级元素和同级元素的方法总结
2016/07/07 Javascript
AngularJS ng-change 指令的详解及简单实例
2016/07/30 Javascript
JavaScript自定义浏览器滚动条兼容IE、 火狐和chrome
2017/01/05 Javascript
bootstrap侧边栏圆点导航
2017/01/11 Javascript
three.js加载obj模型的实例代码
2017/11/10 Javascript
vue源码学习之Object.defineProperty对象属性监听
2018/05/30 Javascript
浅谈webpack+react多页面开发终极架构
2018/11/11 Javascript
Node.js之readline模块的使用详解
2019/03/25 Javascript
vue中的mescroll搜索运用及各种填坑处理
2019/10/30 Javascript
vue在线动态切换主题色方案
2020/03/26 Javascript
React服务端渲染原理解析与实践
2021/03/04 Javascript
[01:31]DOTA2上海特级锦标赛 SECRET战队完整宣传片
2016/03/16 DOTA
Python字符串转换成浮点数函数分享
2015/07/24 Python
Python中特殊函数集锦
2015/07/27 Python
PyQt5实现五子棋游戏(人机对弈)
2020/03/24 Python
python实现全盘扫描搜索功能的方法
2019/02/14 Python
详解python tkinter教程-事件绑定
2019/03/28 Python
Python字典取键、值对的方法步骤
2020/09/30 Python
TensorFlow的环境配置与安装方法
2021/02/20 Python
trivago美国:全球最大的酒店价格比较网站
2018/01/18 全球购物
俄罗斯电子产品、计算机和家用电器购物网站:OLDI
2019/10/27 全球购物
工作迟到检讨书
2014/02/21 职场文书
国际贸易求职信
2014/07/05 职场文书
奉献家乡演讲稿
2014/09/13 职场文书
工作失职检讨书500字
2014/10/17 职场文书
幼儿园教师自荐书
2015/03/06 职场文书