Python流程控制常用工具详解


Posted in Python onFebruary 24, 2020

在我们的工作中,我们使用ddagent ver。5作为收集工具,收集和报告托管服务器的性能指标,并对ddagent进行一定程度的定制。经过多次功能迭代,发现一批在线运行时间长的托管服务器占用了太多内存。分析问题机器上进程树中每个节点的占用情况,可以看出ddagent集合进程的内存占用仍然很高。

我们将学习最基本的流程控制工具,比如

if 条件判断for 循环while 循环

作为保证业务系统稳定运行的监控组件,存在内存泄漏,这自然是非常严重的,所以我们开始了我们的“故障排除之旅”。

if-elif-else 判断

Python流程控制常用工具详解

分析

有很多工具可以分析和导出Python程序的内存状态。在这里,我们使用pyrasite,它可以附加到正在运行的Python程序,生成内存快照,并检查当前哪些对象类型占用了多少内存,并从大到小排序。

使用命令非常简单: pyrasite-memory-viewer <PID>,同时会生成一份快照文件: /tmp/pyrasite-<PID>-objects.json。

由于无法提供真实的生产数据,下面提到的所有数据都来自问题版本在测试环境中运行12小时后的采样。

在pyrasite提供的Cui视图中,我们可以清楚地看到字典类型的对象实例占用的内存最多,达到3.4mb,有6621个实例:

Python流程控制常用工具详解

while 循环

While循环也是一种常见的循环方式。这种循环通常以循环体类或条件方式结束。它不可能无限期地进行下去。

Python流程控制常用工具详解

对于泄漏情况,我们有以下事实和猜测:

一个或多个位置持续创建空字典对象,并且无法回收它们,从而导致内存泄漏内存泄漏量随时间而增加。在索引收集业务中,泄漏很可能是在每个收集过程中引起的,并在间隔期之后重复触发我们看不到当前依赖的ddagent版本存在尚未关闭的相关问题,这可能是在我们的定制过程中引入的错误

[
 [
 [".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],
 [".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],
 [".../modules/monitor/bot/schedule.py",51,"run","task.run()"],
 [".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],
 [".../modules/monitor/bot/task.py",18,"run","self.check()"],
 [".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],
 [".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],
 [".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],
 [".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]
 ],
 [
 [".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],
 [".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],
 [".../modules/monitor/bot/schedule.py",51,"run","task.run()"],
 [".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],
 [".../modules/monitor/bot/task.py",18,"run","self.check()"],
 [".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],
 [".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],
 [".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],
 [".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]
 ],
 [
 [".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],
 [".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],
 [".../modules/monitor/bot/schedule.py",51,"run","task.run()"],
 [".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],
 [".../modules/monitor/bot/task.py",18,"run","self.check()"],
 [".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],
 [".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],
 [".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],
 [".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]
 ],
...

重播

我们不提“做好设计审查和规范审查”、“加强试验阶段质量检验工作”等“老生常谈”,也值得我们反思。

要彻底防止和控制内存泄漏几乎是不可能的,像rust这样的安全编程语言也不能保证程序不会泄漏内存。

许多引发内存不安全的行为,如数组访问越界、访问释放后的内存等,都可以通过制定更严格的编程模型(如rust提出的所有权+生命周期规则)甚至数据竞争问题来避免。

然而,触发内存泄漏的行为,如竞争条件,需要开发人员将开发组件和业务规则结合起来。设想一个需要手动触发刷新的数据队列。结果,我们在推送数据时忘记调用它。这种内存泄漏无法通过任何常规检查规则来识别。

关键字函数是为了更形象地说明传入参数的位置和具体用法。如果一个函数有四个或五个参数,而且一次传入的参数太多,那么很难让人眼花缭乱。如果key=value用于传入。

总结

通过本节的学习,我们了解了通过if else在不同条件下控制代码流和执行不同代码。for/while和如何定义函数有两种不同的循环方法,包括函数的返回值和参数传递方法、position参数传递和向函数传递参数时的key=value参数传递。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
树莓派中python获取GY-85九轴模块信息示例
Dec 05 Python
python中将字典转换成其json字符串
Jul 16 Python
python中Genarator函数用法分析
Apr 08 Python
Python matplotlib画图实例之绘制拥有彩条的图表
Dec 28 Python
利用Pycharm断点调试Python程序的方法
Nov 29 Python
Django实现跨域的2种方法
Jul 31 Python
ansible动态Inventory主机清单配置遇到的坑
Jan 19 Python
python-xpath获取html文档的部分内容
Mar 06 Python
Python3爬虫中关于中文分词的详解
Jul 29 Python
python爬虫中PhantomJS加载页面的实例方法
Nov 12 Python
安装pyinstaller遇到的各种问题(小结)
Nov 20 Python
matplotlib画混淆矩阵与正确率曲线的实例代码
Jun 01 Python
深入浅析Python 函数注解与匿名函数
Feb 24 #Python
python数据预处理方式 :数据降维
Feb 24 #Python
python实现PCA降维的示例详解
Feb 24 #Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
Feb 24 #Python
python 线性回归分析模型检验标准--拟合优度详解
Feb 24 #Python
最小二乘法及其python实现详解
Feb 24 #Python
在Python 的线程中运行协程的方法
Feb 24 #Python
You might like
处理单名多值表单的详解
2013/06/08 PHP
JavaScript与HTML结合的基本使用方法整理
2015/10/12 PHP
thinkphp框架下实现登录、注册、找回密码功能
2016/04/06 PHP
Easy.Ajax 部分源代码 支持文件上传功能, 兼容所有主流浏览器
2011/02/24 Javascript
基于Jquery实现的一个图片滚动切换
2012/06/21 Javascript
jquery实现多级下拉菜单的实例代码
2013/10/02 Javascript
子页向父页传值示例
2013/11/27 Javascript
15个jquery常用方法、小技巧分享
2015/01/13 Javascript
js实现点击文本框显示日期选择器特效代码分享
2020/05/21 Javascript
JavaScript判断数组重复内容的两种方法(推荐)
2016/06/06 Javascript
移动端点击图片放大特效PhotoSwipe.js插件实现
2016/08/25 Javascript
AngularJs 利用百度地图API 定位当前位置 获取地址信息
2017/01/18 Javascript
微信小程序实现流程进度的图样式功能
2018/01/16 Javascript
jQuery实现的回车触发按钮事件功能示例
2018/03/25 jQuery
讲解vue-router之命名路由和命名视图
2018/05/28 Javascript
Vue.js 时间转换代码及时间戳转时间字符串
2018/10/16 Javascript
Vue中强制组件重新渲染的正确方法
2021/01/03 Vue.js
[01:12]DOTA2 2015年秋季互动指南
2015/11/10 DOTA
用C++封装MySQL的API的教程
2015/05/06 Python
python分布式环境下的限流器的示例
2017/10/26 Python
python topN 取最大的N个数或最小的N个数方法
2018/06/04 Python
Python 16进制与中文相互转换的实现方法
2018/07/09 Python
Tensorflow矩阵运算实例(矩阵相乘,点乘,行/列累加)
2020/02/05 Python
详解用Python进行时间序列预测的7种方法
2020/03/13 Python
行政管理专业推荐信
2013/11/02 职场文书
幼师自我鉴定
2014/02/01 职场文书
信息服务专业毕业生求职信
2014/03/02 职场文书
优秀少先队大队辅导员事迹材料
2014/05/04 职场文书
委托代理人授权委托书范本
2014/09/24 职场文书
个人总结与自我评价2015
2015/03/11 职场文书
社区环境卫生倡议书
2015/04/29 职场文书
新闻简讯格式及范文
2015/07/22 职场文书
单位病假条范文
2015/08/17 职场文书
python通过opencv调用摄像头操作实例分析
2021/06/07 Python
mysql中关键词exists的用法实例详解
2022/06/10 MySQL
oracle delete误删除表数据后如何恢复
2022/06/28 Oracle