首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

横向对比分析Python解析XML的四种方式

Posted in Python onMarch 30, 2016

在最初学习PYTHON的时候，只知道有DOM和SAX两种解析方法，但是其效率都不够理想，由于需要处理的文件数量太大，这两种方式耗时太高无法接受。

在网络搜索后发现，目前应用比较广泛，且效率相对较高的ElementTree也是一个比较多人推荐的算法，于是拿这个算法来实测对比，ElementTree也包括两种实现，一个是普通ElementTree（ET），一个是ElementTree.iterparse（ET_iter）。

本文将对DOM、SAX、ET、ET_iter四种方式进行横向对比，通过处理相同文件比较各个算法的用时来评估其效率。

程序中将四种解析方法均写为函数，在主程序中分别调用，来评估其解析效率。

解压后的XML文件内容示例为：

横向对比分析Python解析XML的四种方式

主程序函数调用部分代码为：

print("文件计数：%d/%d." % (gz_cnt,paser_num))
  str_s,cnt = dom_parser(gz)
  #str_s,cnt = sax_parser(gz)
  #str_s,cnt = ET_parser(gz)
  #str_s,cnt = ET_parser_iter(gz)
  output.write(str_s)
  vs_cnt += cnt

在最初的函数调用中函数返回两个值，但接收函数调用值时用两个变量分别调用，导致每个函数都要执行两次，之后修改为一次调用两个变量接收返回值，减少了无效调用。

1、DOM解析

函数定义代码：

def dom_parser(gz):
  import gzip,cStringIO
  import xml.dom.minidom
  
  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  doc = xml.dom.minidom.parseString(xm.read())
  bulkPmMrDataFile = doc.documentElement
  #读入子元素
  enbs = bulkPmMrDataFile.getElementsByTagName("eNB")
  measurements = enbs[0].getElementsByTagName("measurement")
  objects = measurements[0].getElementsByTagName("object")
  #写入csv文件
  for object in objects:
    vs = object.getElementsByTagName("v")
    vs_cnt += len(vs)
    for v in vs:
      file_io.write(enbs[0].getAttribute("id")+' '+object.getAttribute("id")+' '+\
      object.getAttribute("MmeUeS1apId")+' '+object.getAttribute("MmeGroupId")+' '+object.getAttribute("MmeCode")+' '+\
      object.getAttribute("TimeStamp")+' '+v.childNodes[0].data+'\n') #获取文本值
  str_s = (((file_io.getvalue().replace(' \n','\r\n')).replace(' ',',')).replace('T',' ')).replace('NIL','')
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
………………………………………
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：107.077867，每秒处理行数：1660。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
由于DOM解析需要将整个文件读入内存，并建立树结构，其内存消耗和时间消耗都比较高，但其优点在于逻辑简单，不需要定义回调函数，便于实现。

2、SAX解析

函数定义代码：

def sax_parser(gz):
  import os,gzip,cStringIO
  from xml.parsers.expat import ParserCreate

  #变量声明
  d_eNB = {}
  d_obj = {}
  s = ''
  global flag 
  flag = False
  file_io = cStringIO.StringIO()
  
  #Sax解析类
  class DefaultSaxHandler(object):
    #处理开始标签
    def start_element(self, name, attrs):
      global d_eNB
      global d_obj
      global vs_cnt
      if name == 'eNB':
        d_eNB = attrs
      elif name == 'object':
        d_obj = attrs
      elif name == 'v':
        file_io.write(d_eNB['id']+' '+ d_obj['id']+' '+d_obj['MmeUeS1apId']+' '+d_obj['MmeGroupId']+' '+d_obj['MmeCode']+' '+d_obj['TimeStamp']+' ')
        vs_cnt += 1
      else:
        pass
    #处理中间文本
    def char_data(self, text):
      global d_eNB
      global d_obj
      global flag
      if text[0:1].isnumeric():
        file_io.write(text)
      elif text[0:17] == 'MR.LteScPlrULQci1':
        flag = True
        #print(text,flag)
      else:
        pass
    #处理结束标签
    def end_element(self, name):
      global d_eNB
      global d_obj
      if name == 'v':
        file_io.write('\n')
      else:
        pass
  
  #Sax解析调用
  handler = DefaultSaxHandler()
  parser = ParserCreate()
  parser.StartElementHandler = handler.start_element
  parser.EndElementHandler = handler.end_element
  parser.CharacterDataHandler = handler.char_data
  vs_cnt = 0
  str_s = ''
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  for line in xm.readlines():
    parser.Parse(line) #解析xml文件内容
    if flag:
      break
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
.........................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：14.386779，每秒处理行数：12361。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
SAX解析相比DOM解析，运行时间大幅缩短，由于SAX采用逐行解析，对于处理较大文件其占用内存也少，因此SAX解析是目前应用较多的一种解析方法。其缺点在于需要自己实现回调函数，逻辑较为复杂。

3、ET解析

函数定义代码：

def ET_parser(gz):
  import os,gzip,cStringIO
  import xml.etree.cElementTree as ET

  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  tree = ET.ElementTree(file=xm)
  root = tree.getroot()
  for elem in root[1][0].findall('object'):
      for v in elem.findall('v'):
          file_io.write(root[1].attrib['id']+' '+elem.attrib['TimeStamp']+' '+elem.attrib['MmeCode']+' '+\
          elem.attrib['id']+' '+ elem.attrib['MmeUeS1apId']+' '+ elem.attrib['MmeGroupId']+' '+ v.text+'\n')
      vs_cnt += 1
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
...........................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：4.308103，每秒处理行数：41282。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
相较于SAX解析，ET解析时间更短，并且函数实现也比较简单，所以ET具有类似DOM的简单逻辑实现且匹敌SAX的解析效率，因此ET是目前XML解析的首选。

4、ET_iter解析

函数定义代码：

def ET_parser_iter(gz):
  import os,gzip,cStringIO
  import xml.etree.cElementTree as ET

  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  d_eNB = {}
  d_obj = {}
  i = 0
  for event,elem in ET.iterparse(xm,events=('start','end')):
    if i >= 2:
      break    
    elif event == 'start':
          if elem.tag == 'eNB':
              d_eNB = elem.attrib
          elif elem.tag == 'object':
        d_obj = elem.attrib
      elif event == 'end' and elem.tag == 'smr':
      i += 1
    elif event == 'end' and elem.tag == 'v':
      file_io.write(d_eNB['id']+' '+d_obj['TimeStamp']+' '+d_obj['MmeCode']+' '+d_obj['id']+' '+\
      d_obj['MmeUeS1apId']+' '+ d_obj['MmeGroupId']+' '+str(elem.text)+'\n')
          vs_cnt += 1
      elem.clear()
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
...................................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：3.043805，每秒处理行数：58429。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
在引入了ET_iter解析后，解析效率比ET提升了近50%，而相较于DOM解析更是提升了35倍，在解析效率提升的同时，由于其采用了iterparse这个循序解析的工具，其内存占用也是比较小的。

所以，小伙伴们，请好好利用这几种工具吧。
以上就是本文的全部内容，希望对大家的学习有所帮助。

横向对比分析Python解析XML的四种方式

- Author -

zhangshuyx

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
二种python发送邮件实例讲解(python发邮件附件可以使用email模块实现)
Dec 03 Python
详细探究Python中的字典容器
Apr 14 Python
Python入门学习之字符串与比较运算符
Oct 12 Python
Python使用redis pool的一种单例实现方式
Apr 16 Python
Python使用Phantomjs截屏网页的方法
May 17 Python
详解python中的装饰器
Jul 10 Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 Python
python3中eval函数用法使用简介
Aug 02 Python
Python中最好用的命令行参数解析工具(argparse)
Aug 23 Python
解决安装pyqt5之后无法打开spyder的问题
Dec 13 Python
Python实现仿射密码的思路详解
Apr 23 Python
pytorch查看通道数 维数 尺寸大小方式
May 26 Python
python简单实现刷新智联简历
Mar 30 #Python
详解Python迭代和迭代器
Mar 28 #Python
Python读大数据txt
Mar 28 #Python
Python常用的爬虫技巧总结
Mar 28 #Python
Python对数据库操作
Mar 28 #Python
Python字符串切片操作知识详解
Mar 28 #Python
python Django框架实现自定义表单提交
Mar 25 #Python
muduo(1) pt-archiver(1) 忘记密码(1) 优化(1) 增删改查(2) B+树(2) TcpServer(1) 存储过程(3) ICF-5900W(2) instantclient(1)
You might like
PHP和Mysqlweb应用开发核心技术－第1部分 Php基础－2 php语言介绍
2011/07/03 PHP
php对二维数组进行排序的简单实例
2013/12/19 PHP
函数中使用require_once问题深入探讨 优雅的配置文件定义方法推荐
2014/07/02 PHP
thinkphp框架下实现登录、注册、找回密码功能
2016/04/06 PHP
yii的入口文件index.php中为什么会有这两句
2016/08/04 PHP
Laravel框架模型的创建及模型对数据操作示例
2019/05/07 PHP
php日志函数error_log用法实例分析
2019/09/23 PHP
jquery Mobile入门—多页面切换示例学习
2013/01/08 Javascript
浮动的div自适应居中显示的js代码
2013/12/23 Javascript
实现checkbox全选、反选、取消JavaScript小脚本异常
2014/04/10 Javascript
JavaScript检测鼠标移动方向的方法
2015/05/22 Javascript
微信小程序中hidden不生效原因的解决办法
2017/04/26 Javascript
详解如何将 Vue-cli 改造成支持多页面的 history 模式
2017/11/20 Javascript
浅谈angular4.0中路由传递参数、获取参数最nice的写法
2018/03/12 Javascript
vue移动端弹框组件的实例
2018/09/25 Javascript
JS实现计算小于非负数n的素数的数量算法示例
2019/02/26 Javascript
vue 地区选择器v-distpicker的常用功能
2019/07/23 Javascript
javascript实现放大镜功能
2020/12/09 Javascript
jQuery实现穿梭框效果
2021/01/19 jQuery
基于vue-simple-uploader封装文件分片上传、秒传及断点续传的全局上传插件功能
2021/02/23 Vue.js
[41:52]2018DOTA2亚洲邀请赛3月29日 小组赛A组 TNC VS OpTic
2018/03/30 DOTA
关于Django显示时间你应该知道的一些问题
2017/12/25 Python
python3下使用cv2.imwrite存储带有中文路径图片的方法
2018/05/10 Python
python执行CMD指令,并获取返回的方法
2018/12/19 Python
python模块如何查看
2020/06/16 Python
解决tensorflow/keras时出现数组维度不匹配问题
2020/06/29 Python
序列化Python对象的方法
2020/08/01 Python
鼠标滚轮事件和Mac触控板双指事件
2019/12/23 HTML / CSS
JD Sports丹麦：英国领先的运动时尚零售商
2020/11/24 全球购物
加拿大户外探险购物网站：SAIL
2020/06/27 全球购物
《母亲的恩情》教学反思
2014/02/13 职场文书
市级绿色学校申报材料
2014/08/25 职场文书
2015年母亲节寄语
2015/03/23 职场文书
感谢师恩主题班会
2015/08/17 职场文书
《灰雀》教学反思
2016/02/19 职场文书
想创业成功，需要掌握这些要点
2019/12/06 职场文书