python使用ctypes调用扩展模块的实例方法


Posted in Python onJanuary 28, 2020

楔子

我们知道python的执行效率不是很高,而且由于GIL的原因,导致python不能充分利用多核CPU。一般的解决方式是使用多进程,但是多进程开销比较大,而且进程之间的通信也会比较麻烦。因此在解决效率问题上,我们会把那些比较耗时的模块使用C或者C++编写,然后编译成动态链接库,Windows上面是dll,linux上面则是so,编译好之后,交给python去调用。而且通过扩展模块的方式还可以解决python的GIL的问题,因此如果想要利用多核,我们仍然可以通过扩展模块的方式。

python如何调用扩展模块

python调用扩展模块的一种比较简单的方式就是使用ctypes这个库,这个库是python官方提供的,任何一个版本的python都可以使用,我们通过ctypes可以很轻松地调用扩展模块。

演示

#include <stdio.h>

void test()
{
  printf("hello world\n");
}

我们定义了一个很简单的函数,下面我们就可以将其编译成扩展模块了。在Windows是dll,linux上是so,编译的命令是一样的。我这里以Windows 为例,记得在Windows上要安装MinGW,或者安装VsCode,我这里使用的是MinGW,因为VsCode太大了。

gcc -o dll文件或者so文件 -shared c或者c++源文件

我这里的C源文件叫做1.c,我们编译成mmp.dll吧,所以命令就可以这么写:gcc -o mmp.dll -shared 1.c

python使用ctypes调用扩展模块的实例方法

下面就可以使用python去调用了。

import ctypes

# 使用ctypes很简单,直接import进来,然后使用ctypes.CDLL这个类来加载动态模块
# 如果在Windows上还可以使用ctypes.WinDLL。
# 因为看ctypes源码的话,会发现WinDLL也是一个类并且继承自CDLL
# 所以在linux上使用ctypes.CDLL,
# 而在Windows上既可以使用WinDLL、也可以使用CDLL加载动态模块
lib = ctypes.CDLL("./mmp.dll") # 加载之后就得到了扩展模块
# 我们可以直接通过.的方式去调用里面的函数了,会发现成功打印
lib.test() # hello world

# 但是为了确定是否存在这个函数,我们一般会使用反射去获取
# 因为如果函数不存在通过.的方式调用会抛异常的
func = getattr(lib, "test", None)
if func:
  print(func) # <_FuncPtr object at 0x0000029F75F315F0>
  func() # hello world


# 不存在test_xx这个函数,所以得到的结果为None
func1 = getattr(lib, "test_xx", None)
print(func1) # None

所以使用ctypes去调用扩展模块非常方便

1.通过ctypes.CDLL("dll或者so的路径"),如果是Windows还可以使用ctypes.WinDLL("dll路径")。另外这两种加载方式分别等价于:ctypes.CDLL("dll或者so的路径") == ctypes.cdll.LoadLibrary("dll或者so的路径"),ctypes.WinDLL("dll路径") == ctypes.windll.LoadLibrary("dll路径")。但是注意的是:linux上只能使用ctypes.CDLL和ctypes.cdll.LoadLibrary,而Windows上ctypes.CDLL、ctypes.cdll.LoadLibrary、ctypes.WinDLL、ctypes.windll.LoadLibrary都可以使用。但是一般我们都使用ctypes.CDLL即可,另外注意的是:dll或者so文件的路径最好是绝对路径,即便不是也要表明层级,比如我们这里的py文件和dll文件是在同一个目录下,但是我们加载的时候不可以写mmp.dll,这样会报错找不到,要写成./mmp.dll。

2.加载动态模块之后会返回一个对象,我们上面起名为lib,这个lib就是得到的扩展模块了。

3.然后可以直接通过lib调用里面的函数,但是一般我们会使用反射的方式来获取,因为不知道函数到底存不存在,如果不存在直接调用会抛出异常,如果存在这个函数我们才会执行。

以上就是本次介绍的全部相关知识点,如果大家有任何补充的地方可以联系三水点靠木小编。

Python 相关文章推荐
Python 文件操作实现代码
Oct 07 Python
在阿里云服务器上配置CentOS+Nginx+Python+Flask环境
Jun 18 Python
Python科学计算之Pandas详解
Jan 15 Python
python批量导入数据进Elasticsearch的实例
May 30 Python
如何在Python中实现goto语句的方法
May 18 Python
Python 合并多个TXT文件并统计词频的实现
Aug 23 Python
Python pandas实现excel工作表合并功能详解
Aug 29 Python
Python的缺点和劣势分析
Nov 19 Python
pytorch 图像预处理之减去均值,除以方差的实例
Jan 02 Python
详细分析Python可变对象和不可变对象
Jul 09 Python
Python改变对象的字符串显示的方法
Aug 01 Python
Python私有属性私有方法应用实例解析
Sep 15 Python
Python 时间戳之获取整点凌晨时间戳的操作方法
Jan 28 #Python
使用Python制作新型冠状病毒实时疫情图
Jan 28 #Python
代码总结Python2 和 Python3 字符串的区别
Jan 28 #Python
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
Jan 25 #Python
Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释
Jan 25 #Python
Python爬虫库BeautifulSoup的介绍与简单使用实例
Jan 25 #Python
使用Python爬虫库requests发送表单数据和JSON数据
Jan 25 #Python
You might like
php在线解压ZIP文件的方法
2014/12/30 PHP
值得分享的php+ajax实时聊天室
2016/07/20 PHP
详解php中 === 的使用
2016/10/24 PHP
Javascript常考语句107条收集
2010/03/09 Javascript
css值转换成数值请抛弃parseInt
2011/10/24 Javascript
js onclick事件传参讲解
2013/11/06 Javascript
Jquery实现侧边栏跟随滚动条固定(兼容IE6)
2014/04/02 Javascript
JS组件Bootstrap Table表格多行拖拽效果实现代码
2015/12/08 Javascript
如何使用PHP+jQuery+MySQL实现异步加载ECharts地图数据(附源码下载)
2016/02/23 Javascript
php基于redis处理session的方法
2016/03/14 Javascript
微信小程序开发实战教程之手势解锁
2016/11/18 Javascript
JavaScript实现点击按钮复制指定区域文本(推荐)
2016/11/25 Javascript
Vue.js实战之组件之间的数据传递
2017/04/01 Javascript
简单理解Vue中的nextTick方法
2018/01/30 Javascript
layer关闭当前窗口页面以及确认取消按钮的方法
2019/09/09 Javascript
react-native 实现购物车滑动删除效果的示例代码
2021/01/15 Javascript
[01:24:34]2014 DOTA2华西杯精英邀请赛5 24 DK VS LGD
2014/05/25 DOTA
Python赋值语句后逗号的作用分析
2015/06/08 Python
使用Python3内置文档高效学习以及官方中文文档
2019/05/19 Python
Django框架之DRF 基于mixins来封装的视图详解
2019/07/23 Python
python匿名函数用法实例分析
2019/08/03 Python
Django 响应数据response的返回源码详解
2019/08/06 Python
python 实现控制鼠标键盘
2020/11/27 Python
一款基于css3和jquery实现的动画显示弹出层按钮教程
2015/01/04 HTML / CSS
HTML5到底会有什么发展?HTML5的前景展望
2015/07/07 HTML / CSS
Missguided美国官网:英国时尚品牌
2018/01/18 全球购物
监理员的岗位职责
2013/11/13 职场文书
初中女生自我鉴定
2013/12/19 职场文书
党课培训主持词
2014/04/01 职场文书
丧事主持词大全
2014/04/02 职场文书
2014年煤矿工人工作总结
2014/12/08 职场文书
2014保险公司个人工作总结
2014/12/09 职场文书
辞职信怎么写?你都知道吗?
2019/06/24 职场文书
原生Js 实现的简单无缝滚动轮播图的示例代码
2021/05/10 Javascript
Python编程源码报错解决方法总结经验分享
2021/10/05 Python
Spring this调用当前类方法无法拦截的示例代码
2022/03/20 Java/Android