python使用ctypes调用扩展模块的实例方法


Posted in Python onJanuary 28, 2020

楔子

我们知道python的执行效率不是很高,而且由于GIL的原因,导致python不能充分利用多核CPU。一般的解决方式是使用多进程,但是多进程开销比较大,而且进程之间的通信也会比较麻烦。因此在解决效率问题上,我们会把那些比较耗时的模块使用C或者C++编写,然后编译成动态链接库,Windows上面是dll,linux上面则是so,编译好之后,交给python去调用。而且通过扩展模块的方式还可以解决python的GIL的问题,因此如果想要利用多核,我们仍然可以通过扩展模块的方式。

python如何调用扩展模块

python调用扩展模块的一种比较简单的方式就是使用ctypes这个库,这个库是python官方提供的,任何一个版本的python都可以使用,我们通过ctypes可以很轻松地调用扩展模块。

演示

#include <stdio.h>

void test()
{
  printf("hello world\n");
}

我们定义了一个很简单的函数,下面我们就可以将其编译成扩展模块了。在Windows是dll,linux上是so,编译的命令是一样的。我这里以Windows 为例,记得在Windows上要安装MinGW,或者安装VsCode,我这里使用的是MinGW,因为VsCode太大了。

gcc -o dll文件或者so文件 -shared c或者c++源文件

我这里的C源文件叫做1.c,我们编译成mmp.dll吧,所以命令就可以这么写:gcc -o mmp.dll -shared 1.c

python使用ctypes调用扩展模块的实例方法

下面就可以使用python去调用了。

import ctypes

# 使用ctypes很简单,直接import进来,然后使用ctypes.CDLL这个类来加载动态模块
# 如果在Windows上还可以使用ctypes.WinDLL。
# 因为看ctypes源码的话,会发现WinDLL也是一个类并且继承自CDLL
# 所以在linux上使用ctypes.CDLL,
# 而在Windows上既可以使用WinDLL、也可以使用CDLL加载动态模块
lib = ctypes.CDLL("./mmp.dll") # 加载之后就得到了扩展模块
# 我们可以直接通过.的方式去调用里面的函数了,会发现成功打印
lib.test() # hello world

# 但是为了确定是否存在这个函数,我们一般会使用反射去获取
# 因为如果函数不存在通过.的方式调用会抛异常的
func = getattr(lib, "test", None)
if func:
  print(func) # <_FuncPtr object at 0x0000029F75F315F0>
  func() # hello world


# 不存在test_xx这个函数,所以得到的结果为None
func1 = getattr(lib, "test_xx", None)
print(func1) # None

所以使用ctypes去调用扩展模块非常方便

1.通过ctypes.CDLL("dll或者so的路径"),如果是Windows还可以使用ctypes.WinDLL("dll路径")。另外这两种加载方式分别等价于:ctypes.CDLL("dll或者so的路径") == ctypes.cdll.LoadLibrary("dll或者so的路径"),ctypes.WinDLL("dll路径") == ctypes.windll.LoadLibrary("dll路径")。但是注意的是:linux上只能使用ctypes.CDLL和ctypes.cdll.LoadLibrary,而Windows上ctypes.CDLL、ctypes.cdll.LoadLibrary、ctypes.WinDLL、ctypes.windll.LoadLibrary都可以使用。但是一般我们都使用ctypes.CDLL即可,另外注意的是:dll或者so文件的路径最好是绝对路径,即便不是也要表明层级,比如我们这里的py文件和dll文件是在同一个目录下,但是我们加载的时候不可以写mmp.dll,这样会报错找不到,要写成./mmp.dll。

2.加载动态模块之后会返回一个对象,我们上面起名为lib,这个lib就是得到的扩展模块了。

3.然后可以直接通过lib调用里面的函数,但是一般我们会使用反射的方式来获取,因为不知道函数到底存不存在,如果不存在直接调用会抛出异常,如果存在这个函数我们才会执行。

以上就是本次介绍的全部相关知识点,如果大家有任何补充的地方可以联系三水点靠木小编。

Python 相关文章推荐
python基础教程之基本内置数据类型介绍
Feb 20 Python
Python标准异常和异常处理详解
Feb 02 Python
Python 实现数据库(SQL)更新脚本的生成方法
Jul 09 Python
python如何读写csv数据
Mar 21 Python
python数字图像处理之骨架提取与分水岭算法
Apr 27 Python
利用Django-environ如何区分不同环境
Aug 26 Python
python 实现创建文件夹和创建日志文件的方法
Jul 07 Python
Django项目中实现使用qq第三方登录功能
Aug 13 Python
python爬虫要用到的库总结
Jul 28 Python
Pytest单元测试框架如何实现参数化
Sep 05 Python
如何在Python3中使用telnetlib模块连接网络设备
Sep 21 Python
Python通过loop.run_in_executor执行同步代码 同步变为异步
Apr 11 Python
Python 时间戳之获取整点凌晨时间戳的操作方法
Jan 28 #Python
使用Python制作新型冠状病毒实时疫情图
Jan 28 #Python
代码总结Python2 和 Python3 字符串的区别
Jan 28 #Python
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
Jan 25 #Python
Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释
Jan 25 #Python
Python爬虫库BeautifulSoup的介绍与简单使用实例
Jan 25 #Python
使用Python爬虫库requests发送表单数据和JSON数据
Jan 25 #Python
You might like
PHP实现ftp上传文件示例
2014/08/21 PHP
ThinkPHP中pathinfo的访问模式、路径访问模式及URL重写总结
2014/08/23 PHP
php目录遍历函数opendir用法实例
2014/11/20 PHP
PHP基于phpqrcode生成带LOGO图像的二维码实例
2015/07/10 PHP
PHP preg_match实现正则表达式匹配功能【输出是否匹配及匹配值】
2017/07/19 PHP
让iframe子窗体取父窗体地址栏参数(querystring)
2009/10/13 Javascript
jquery last-child 列表最后一项的样式
2010/01/22 Javascript
jquery 可拖拽的窗体控件实现代码
2010/03/21 Javascript
JQuery的ajax获取数据后的处理总结(html,xml,json)
2010/07/14 Javascript
javascript日期转换 时间戳转日期格式
2011/11/05 Javascript
一个简单的实现下拉框多选的插件可移植性比较好
2014/05/05 Javascript
javascript函数特点实例分析
2015/05/14 Javascript
深入分析下javascript中的[]()+!
2015/07/07 Javascript
jquery+ajax实现注册实时验证实例详解
2015/12/08 Javascript
jQuery弹簧插件编写基础之“又见弹窗”
2015/12/11 Javascript
js流动式效果显示当前系统时间
2016/05/16 Javascript
关于两个jQuery(js)特效冲突的bug的解决办法
2016/09/04 Javascript
jQuery获取单选按钮radio选中值与去除所有radio选中状态的方法
2017/05/20 jQuery
Vue和Bootstrap的整合思路详解
2017/06/30 Javascript
原生JS实现的多个彩色小球跟随鼠标移动动画效果示例
2018/02/01 Javascript
详解node.js的http模块实例演示
2018/07/12 Javascript
微信小程序项目实践之九宫格实现及item跳转功能
2018/07/19 Javascript
tornado框架blog模块分析与使用
2013/11/21 Python
python处理PHP数组文本文件实例
2014/09/18 Python
Anaconda入门使用总结
2018/04/05 Python
Flask框架Flask-Login用法分析
2018/07/23 Python
Pytorch之扩充tensor的操作
2021/03/04 Python
优瑞自动咖啡机官网:Jura
2018/09/29 全球购物
迪奥美国官网:Dior美国
2019/12/07 全球购物
大学生实习思想汇报
2014/01/12 职场文书
幼儿园评语大全
2014/04/17 职场文书
2014镇党委班子对照检查材料思想汇报
2014/09/23 职场文书
2015年教育实习工作总结
2015/04/24 职场文书
2015年度个人教学工作总结
2015/05/20 职场文书
会计主管竞聘书
2015/09/15 职场文书
基于Redis实现分布式锁的方法(lua脚本版)
2021/05/12 Redis