openstack中的rpc远程调用的方法


Posted in Python onJuly 09, 2021

众所周知,OpenStack的通信方式有两种,一种是基于HTTP协议的RESTFul API方式,另一种则是RPC调用。两种通信方式的应用场景有所不同,在OpenStack中,前者主要用于各组件之间的通信(如nova与glance的通信),而后者则用于同一组件中各个不同模块之间的通信(如nova组件中nova-compute与nova-scheduler的通信)。

nova中rpc调用非常多,用pycharm点点点跟函数的时候遇到rpc就会点不下去了,不解决直接就看不下去了那种多法

什么是 RPC

openstack中的rpc远程调用的方法

看不明白这个图对于看nova代码,其实不是很重要,直接忽略以后再看也可以,当务之急是解决一下看openstack代码遇到rpc就跟丢了的问题

RPC、消息队列、RESTful

这三个其实不是一个层面的东西,本质上不应该放在一起比,但是因为都用来通信,比较容易混淆就还是解释一下

  • RESTful:主要用于各组件之间的通信(比如nova与glance的通信),或者说用于组件对外提供调用接口
  • RPC:则用于同一组件中各个不同模块之间的通信(比如nova组件中nova-compute与-nova-scheduler的通信)
  • 消息队列:用于解耦组件,也是组件间通信用的,而且会有一个队列用来暂存消息

在nova中的典型rpc

nova/nova/nova/conductor/tasks/live_migrate.py

class LiveMigrationTask(base.TaskBase):
    def __init__(self, context, instance, destination,
                 block_migration, disk_over_commit, migration, compute_rpcapi,
                 servicegroup_api, scheduler_client):
        super(LiveMigrationTask, self).__init__(context, instance)
    ... 

    def _execute(self):
        self._check_instance_is_active()
        self._check_host_is_up(self.source)

        if not self.destination:
            self.destination = self._find_destination()
            self.migration.dest_compute = self.destination
            self.migration.save()
        else:
            self._check_requested_destination()

        # TODO(johngarbutt) need to move complexity out of compute manager
        # TODO(johngarbutt) disk_over_commit?

        #调用 ComputeAPI 类中的 live_migration() RPC接口
        return self.compute_rpcapi.live_migration(self.context,
                host=self.source,
                instance=self.instance,
                dest=self.destination,
                block_migration=self.block_migration,
                migration=self.migration,
                migrate_data=self.migrate_data)

conductorcompute_rpcapi.live_migration的方式远程调用computelive_migration,过程就是, conductorRPC的方式发出一个请求到Queue再被nova-compute接收

nova/nova/nova/compute/rpcapi.py

class ComputeAPI(object):

    # 这是一个RPC远程调用的方法
    def live_migration(self, ctxt, instance, dest, block_migration, host,
                       migration, migrate_data=None):
        args = {'migration': migration}
        version = '4.2'
        if not self.client.can_send_version(version):
            version = '4.0'

        # 获取目标 compute 主机(DEST HOST)的RPC client,即被调用的服务进程的HostIP
        cctxt = self.client.prepare(server=host, version=version)

        # 通过目标主机对象的 RPC cliient 来调用远程过程方法 cast() ,以此来实现远程调用
        cctxt.cast(ctxt, 'live_migration', instance=instance,
                   dest=dest, block_migration=block_migration,
                   migrate_data=migrate_data, **args)
        # cast()异步远程调用,不会阻塞别的进程,适合于需要长时间进行的执行过程
        # cast()的第二个参数是RPC client调用的函数名,case()后面的参数会继续作为参数传入该调用函数
        # cast()函数内的live_migration()函数是 manager.live_migration() 视具体实现迁移功能的函数,在manager.py内实现。

调用的时候是从nova/nova/conductor/tasks/live_migrate.pynova/nova/compute/rpcapi.py,但是实际上是compute服务首先得在rpcapi.py提供出接口函数,然后使用者通过
- 1. import导入的方式去使用rpc调用
- 2. 类实例化传参的方式去引入

热迁移这里用的就是类实例化传参

tip: call()表示同步调用 和 cast()表示异步调用

openstack中的rpc远程调用的方法

根据在rpc.py或者rpcapi.py中的cast()的第二个参数,去该服务下的manager.py中找和这个参数同名的函数(这个就是rpc最终想要调用的函数),我们这里是compute_rpcapi,所以要去找compute下的mannager.py

为什么要去找mannager,是因为nova.compute.manager 会一直监听 Queue ,当Queue中存在相关的 RPC 请求时,就去完成这个请求

nova/nova/nova/compute/manager.py

@wrap_exception()
    @wrap_instance_event(prefix='compute')
    @wrap_instance_fault
    def live_migration(self, context, dest, instance, block_migration,
                       migration, migrate_data):
        """执行实时迁移。

        :param context: security context
        :param dest: destination host
        :param instance: a nova.objects.instance.Instance object
        :param block_migration: if true, prepare for block migration
        :param migration: an nova.objects.Migration object
        :param migrate_data: implementation specific params

        """
        self._set_migration_status(migration, 'queued')

        def dispatch_live_migration(*args, **kwargs):
            with self._live_migration_semaphore:
                # 调用_do_live_migration执行迁移
                self._do_live_migration(*args, **kwargs)

        # NOTE(danms): We spawn here to return the RPC worker thread back to
        # the pool. Since what follows could take a really long time, we don't
        # want to tie up RPC workers.
        utils.spawn_n(dispatch_live_migration,
                      context, dest, instance,
                      block_migration, migration,
                      migrate_data)

当然实际干活的还不是manager.pydef live_migration,而是live_migration函数去调用_do_live_migration,但是之后的就是热迁移的流程,在之前的文档里写了就不展开了,反正rpc的体现就只到这里

冷迁移中还有很多例子,不一一列举了,有兴趣可以去看冷迁移源码分析这篇博客

看完例子会发现,既然原生的代码既然已经写了rpc调用,那么对应的服务肯定已经提供了rpc接口,所以实际上看到compute_rpcapi,可以不去compute下的rpc文件中找了,直接去compute下的manager看具体实现(不止compute,其他服务也一样),当然,如果需要雪确定是同步还是异步调用那还是不要偷这一步的懒。

总结

完整的rpc应该具有

  • 组件A提供出rpc调用接口(rpc.py或者rpcapi.py文件)
  • 组件B引入组件A的rpc (import或者类实例化传参)
  • 组件B调用组件A的rpc(以rpc方式发送一个请求到消息队列)
  • 组件A处理请求(组件A监听到发给自己的rpc请求会通过manager处理请求)

如果只是看代码,那么去对应的manager下面找实现就可以了,但是如果自己要加就还是的明白从哪里提供的、怎样导入,何种途径接收,这样想在代码里添加自己的rpc调用才心里有数

参考文献:

https://zhuanlan.zhihu.com/p/36427583
https://blog.csdn.net/Jmilk/article/details/52655645
https://www.cnblogs.com/wongbingming/p/11086773.html
https://blog.csdn.net/qq_33909098/article/details/118578133

到此这篇关于openstack中的rpc远程调用的文章就介绍到这了,更多相关openstack rpc调用内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
测试、预发布后用python检测网页是否有日常链接
Jun 03 Python
django定期执行任务(实例讲解)
Nov 03 Python
python selenium自动上传有赞单号的操作方法
Jul 05 Python
使用Python更换外网IP的方法
Jul 09 Python
Sanic框架蓝图用法实例分析
Jul 17 Python
Numpy数组array和矩阵matrix转换方法
Aug 05 Python
python实现按首字母分类查找功能
Oct 31 Python
python requests模拟登陆github的实现方法
Dec 26 Python
python+selenium+chromedriver实现爬虫示例代码
Apr 10 Python
Python学习笔记之装饰器
Aug 06 Python
在Python中字典按值排序的实现方法
Nov 12 Python
Python urlopen()参数代码示例解析
Dec 10 Python
Python实现查询剪贴板自动匹配信息的思路详解
如何利用Python实现一个论文降重工具
python实现MD5进行文件去重的示例代码
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 #Python
Python中Selenium对Cookie的操作方法
Python常用配置文件ini、json、yaml读写总结
图文详解matlab原始处理图像几何变换
You might like
DC动画电影《黑暗正义联盟》曝预告 5月5日上线数字平台
2020/04/09 欧美动漫
PHP中Date获取时间不正确怎么办
2008/06/05 PHP
php模板中出现空行解决方法
2011/03/08 PHP
PHP获取文件夹大小函数用法实例
2015/07/01 PHP
Yii2创建控制器(createController)方法详解
2016/07/23 PHP
php基于数组函数实现关联表的编辑操作示例
2017/07/04 PHP
jQuery向后台传入json格式数据的方法
2015/02/13 Javascript
再次谈论React.js实现原生js拖拽效果引起的一系列问题
2016/04/03 Javascript
JavaScript实现垂直向上无缝滚动特效代码
2016/11/23 Javascript
jQuery实现字符串全部替换的方法
2016/12/12 Javascript
Node.js  REPL (交互式解释器)实例详解
2017/08/06 Javascript
js实现上传并压缩图片效果
2018/01/10 Javascript
浅谈Webpack下多环境配置的思路
2018/06/27 Javascript
js实现动态增加文件域表单功能
2018/10/22 Javascript
Vue CLI 3.x 自动部署项目至服务器的方法
2019/04/02 Javascript
云服务器部署Node.js项目的方法步骤(小白系列)
2020/03/23 Javascript
vue用ant design中table表格,点击某行时触发的事件操作
2020/10/28 Javascript
nodejs处理tcp连接的核心流程
2021/02/26 NodeJs
使用IPython下的Net-SNMP来管理类UNIX系统的教程
2015/04/15 Python
python 根据pid杀死相应进程的方法
2017/01/16 Python
Python cookbook(数据结构与算法)在字典中将键映射到多个值上的方法
2018/02/18 Python
详解Python进阶之切片的误区与高级用法
2018/12/24 Python
Python数据类型之String字符串实例详解
2019/05/08 Python
Python操作列表常用方法实例小结【创建、遍历、统计、切片等】
2019/10/25 Python
Python高级编程之继承问题详解(super与mro)
2019/11/19 Python
Python 模拟生成动态产生验证码图片的方法
2020/02/01 Python
全球第二大家装零售商:Lowe’s
2018/01/13 全球购物
Grow Gorgeous美国官网:只要八天,体验唤醒毛囊后新生的茂密秀发
2018/06/04 全球购物
教师年度考核自我鉴定
2014/01/19 职场文书
美国探亲签证邀请信
2014/02/05 职场文书
廉洁教育学习材料
2014/05/19 职场文书
村党的群众路线教育实践活动总结材料
2014/10/31 职场文书
升学宴学生答谢词
2015/01/05 职场文书
暑期实践个人总结
2015/03/06 职场文书
2015年推普周活动总结
2015/03/27 职场文书
工伤劳动仲裁代理词
2015/05/25 职场文书