详解Python中logging日志模块在多进程环境下的使用


Posted in Javascript onDecember 26, 2016

前言

相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析。Python 的 logging 模块就是这种情况下的好帮手。

logging 模块可以指定日志的级别,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别。(如果不特别指定,默认级别是 warning)

logging 还可以指定输出到命令行或者文件,还可以按时间或大小分割日志文件。

关于 logging 的详细使用,这里就不再细说,可以参考官方文档,或者这里的介绍。

logging 的配置

通常情况下,我们需要将日志保存到文件中,并期望能自动分割文件,避免日志文件太大。下面给出了一个 logging 的配置例子。

import logging.config
 
logging.config.dictConfig({
 'version': 1,
 'disable_existing_loggers': True,
 'formatters': {
  'verbose': {
   'format': "[%(asctime)s] %(levelname)s [%(name)s:%(lineno)s] %(message)s",
   'datefmt': "%Y-%m-%d %H:%M:%S"
  },
  'simple': {
   'format': '%(levelname)s %(message)s'
  },
 },
 'handlers': {
  'null': {
   'level': 'DEBUG',
   'class': 'logging.NullHandler',
  },
  'console': {
   'level': 'DEBUG',
   'class': 'logging.StreamHandler',
   'formatter': 'verbose'
  },
  'file': {
   'level': 'DEBUG',
   'class': 'logging.RotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 'loggers': {
  '': {
   'handlers': ['file'],
   'level': 'info',
  },
 }
})

我们在一个模块内,就可以这么使用来记录日志

import logging
logger = logging.getLogger(__name__)
 
if __name__ == '__main__':
 logger.info('log info')

多进程环境下的使用

按照官方文档的介绍,logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的。但是(对,这里有个但是)多个进程往同一个文件写日志不是安全的。官方的说法是这样的:

Because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

有的人会说,那我不用多进程不就可以了。但是 Python 有一个 GIL 的大锁(关于 GIL 的纠葛可以看这里),使用多线程是没法利用到多核 CPU 的,大部分情况下会改用多进程来利用多核 CPU,因此我们还是绕不开不开多进程下日志的问题。

为了解决这个问题,可以使用 ConcurrentLogHandler,ConcurrentLogHandler 可以在多进程环境下安全的将日志写入到同一个文件,并且可以在日志文件达到特定大小时,分割日志文件。在默认的 logging 模块中,有个 TimedRotatingFileHandler 类,可以按时间分割日志文件,可惜 ConcurrentLogHandler 不支持这种按时间分割日志文件的方式。

重新修改下 handlers 中的 class。

logging.config.dictConfig({
 ...
 'handlers': {
  'file': {
   'level': 'DEBUG',
   # 如果没有使用并发的日志处理类,在多实例的情况下日志会出现缺失
   'class': 'cloghandler.ConcurrentRotatingFileHandler',
   # 当达到10MB时分割日志
   'maxBytes': 1024 * 1024 * 10,
   # 最多保留50份文件
   'backupCount': 50,
   # If delay is true,
   # then file opening is deferred until the first call to emit().
   'delay': True,
   'filename': 'logs/mysite.log',
   'formatter': 'verbose'
  }
 },
 ...
})

运行后可以发现,会自动创建一个.lock文件,通过锁的方式来安全的写日志文件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
使弱类型的语言JavaScript变强势
Jun 22 Javascript
一个XML格式数据转换为图表的例子
Feb 09 Javascript
zeroclipboard 单个复制按钮和多个复制按钮的实现方法
Jun 14 Javascript
JS实现页面超时后自动跳转到登陆页面
Jan 19 Javascript
javascript中数组的定义及使用实例
Jan 21 Javascript
javascript基础语法——全面理解变量和标识符
Jun 02 Javascript
Vue.directive自定义指令的使用详解
Mar 10 Javascript
js 显示日期时间的实例(时间过一秒加1)
Oct 25 Javascript
node中modules.exports与exports导出的区别
Jun 08 Javascript
微信小程序仿微信运动步数排行(交互)
Jul 13 Javascript
layui use 定义js外部引用函数的方法
Sep 26 Javascript
JavaScript 防盗链的原理以及破解方法
Dec 29 Javascript
Angular的事件和表单详解
Dec 26 #Javascript
Angular的MVC和作用域
Dec 26 #Javascript
JS中用try catch对代码运行的性能影响分析
Dec 26 #Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
Dec 26 #Javascript
Angular的$http与$location
Dec 26 #Javascript
Angular ng-repeat指令实例以及扩展部分
Dec 26 #Javascript
详解Angular的内置过滤器和自定义过滤器【推荐】
Dec 26 #Javascript
You might like
解析如何修改phpmyadmin中的默认登陆超时时间
2013/06/25 PHP
php解析字符串里所有URL地址的方法
2015/04/03 PHP
php获取英文姓名首字母的方法
2015/07/13 PHP
大家在抢红包,程序员在研究红包算法
2015/08/31 PHP
Jquery选择器 $实现原理
2009/12/02 Javascript
javascript setTimeout和setInterval计时的区别详解
2013/06/21 Javascript
使用AngularJS 应用访问 Android 手机的图片库
2015/03/24 Javascript
jquery分页插件jquery.pagination.js实现无刷新分页
2016/04/01 Javascript
Bootstrap表单布局
2016/07/19 Javascript
AngularJS 基础ng-class-even指令用法
2016/08/01 Javascript
使用nodejs中httpProxy代理时候出现404异常的解决方法
2016/08/15 NodeJs
详解微信小程序开发之——wx.showToast(OBJECT)的使用
2017/01/18 Javascript
TypeScript入门-接口
2017/03/30 Javascript
nodejs实现套接字服务功能详解
2018/06/21 NodeJs
微信小程序使用gitee进行版本管理
2018/09/20 Javascript
如何使用VuePress搭建一个类型element ui文档
2019/02/14 Javascript
JavaScript判断对象和数组的两种方法
2019/05/31 Javascript
Node.js实现简单管理系统
2019/09/23 Javascript
基于javascript实现贪吃蛇小游戏
2019/11/25 Javascript
[08:42]DOTA2每周TOP10 精彩击杀集锦vol.2
2014/06/25 DOTA
[36:54]Mineski vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
[48:27]EG vs Liquid 2018国际邀请赛淘汰赛BO3 第二场 8.25
2018/08/29 DOTA
实例讲解Python的函数闭包使用中应注意的问题
2016/06/20 Python
python3.4用函数操作mysql5.7数据库
2017/06/23 Python
Python退火算法在高次方程的应用
2018/07/26 Python
django自带serializers序列化返回指定字段的方法
2019/08/21 Python
浅谈python 中的 type(), dtype(), astype()的区别
2020/04/09 Python
用 python 进行微信好友信息分析
2020/11/28 Python
家庭睡衣和家庭用品:Little Blue House
2018/03/18 全球购物
Unineed旗下时尚轻奢网站:FABHunt
2019/05/13 全球购物
酒店前台接待岗位职责
2013/12/03 职场文书
幼儿园秋游活动方案
2014/01/21 职场文书
汽车促销活动方案
2014/03/31 职场文书
防灾减灾宣传标语
2014/10/07 职场文书
小学生优秀评语
2014/12/29 职场文书
安全教育观后感
2015/06/17 职场文书