openstack中的rpc远程调用的方法


Posted in Python onJuly 09, 2021

众所周知,OpenStack的通信方式有两种,一种是基于HTTP协议的RESTFul API方式,另一种则是RPC调用。两种通信方式的应用场景有所不同,在OpenStack中,前者主要用于各组件之间的通信(如nova与glance的通信),而后者则用于同一组件中各个不同模块之间的通信(如nova组件中nova-compute与nova-scheduler的通信)。

nova中rpc调用非常多,用pycharm点点点跟函数的时候遇到rpc就会点不下去了,不解决直接就看不下去了那种多法

什么是 RPC

openstack中的rpc远程调用的方法

看不明白这个图对于看nova代码,其实不是很重要,直接忽略以后再看也可以,当务之急是解决一下看openstack代码遇到rpc就跟丢了的问题

RPC、消息队列、RESTful

这三个其实不是一个层面的东西,本质上不应该放在一起比,但是因为都用来通信,比较容易混淆就还是解释一下

  • RESTful:主要用于各组件之间的通信(比如nova与glance的通信),或者说用于组件对外提供调用接口
  • RPC:则用于同一组件中各个不同模块之间的通信(比如nova组件中nova-compute与-nova-scheduler的通信)
  • 消息队列:用于解耦组件,也是组件间通信用的,而且会有一个队列用来暂存消息

在nova中的典型rpc

nova/nova/nova/conductor/tasks/live_migrate.py

class LiveMigrationTask(base.TaskBase):
    def __init__(self, context, instance, destination,
                 block_migration, disk_over_commit, migration, compute_rpcapi,
                 servicegroup_api, scheduler_client):
        super(LiveMigrationTask, self).__init__(context, instance)
    ... 

    def _execute(self):
        self._check_instance_is_active()
        self._check_host_is_up(self.source)

        if not self.destination:
            self.destination = self._find_destination()
            self.migration.dest_compute = self.destination
            self.migration.save()
        else:
            self._check_requested_destination()

        # TODO(johngarbutt) need to move complexity out of compute manager
        # TODO(johngarbutt) disk_over_commit?

        #调用 ComputeAPI 类中的 live_migration() RPC接口
        return self.compute_rpcapi.live_migration(self.context,
                host=self.source,
                instance=self.instance,
                dest=self.destination,
                block_migration=self.block_migration,
                migration=self.migration,
                migrate_data=self.migrate_data)

conductorcompute_rpcapi.live_migration的方式远程调用computelive_migration,过程就是, conductorRPC的方式发出一个请求到Queue再被nova-compute接收

nova/nova/nova/compute/rpcapi.py

class ComputeAPI(object):

    # 这是一个RPC远程调用的方法
    def live_migration(self, ctxt, instance, dest, block_migration, host,
                       migration, migrate_data=None):
        args = {'migration': migration}
        version = '4.2'
        if not self.client.can_send_version(version):
            version = '4.0'

        # 获取目标 compute 主机(DEST HOST)的RPC client,即被调用的服务进程的HostIP
        cctxt = self.client.prepare(server=host, version=version)

        # 通过目标主机对象的 RPC cliient 来调用远程过程方法 cast() ,以此来实现远程调用
        cctxt.cast(ctxt, 'live_migration', instance=instance,
                   dest=dest, block_migration=block_migration,
                   migrate_data=migrate_data, **args)
        # cast()异步远程调用,不会阻塞别的进程,适合于需要长时间进行的执行过程
        # cast()的第二个参数是RPC client调用的函数名,case()后面的参数会继续作为参数传入该调用函数
        # cast()函数内的live_migration()函数是 manager.live_migration() 视具体实现迁移功能的函数,在manager.py内实现。

调用的时候是从nova/nova/conductor/tasks/live_migrate.pynova/nova/compute/rpcapi.py,但是实际上是compute服务首先得在rpcapi.py提供出接口函数,然后使用者通过
- 1. import导入的方式去使用rpc调用
- 2. 类实例化传参的方式去引入

热迁移这里用的就是类实例化传参

tip: call()表示同步调用 和 cast()表示异步调用

openstack中的rpc远程调用的方法

根据在rpc.py或者rpcapi.py中的cast()的第二个参数,去该服务下的manager.py中找和这个参数同名的函数(这个就是rpc最终想要调用的函数),我们这里是compute_rpcapi,所以要去找compute下的mannager.py

为什么要去找mannager,是因为nova.compute.manager 会一直监听 Queue ,当Queue中存在相关的 RPC 请求时,就去完成这个请求

nova/nova/nova/compute/manager.py

@wrap_exception()
    @wrap_instance_event(prefix='compute')
    @wrap_instance_fault
    def live_migration(self, context, dest, instance, block_migration,
                       migration, migrate_data):
        """执行实时迁移。

        :param context: security context
        :param dest: destination host
        :param instance: a nova.objects.instance.Instance object
        :param block_migration: if true, prepare for block migration
        :param migration: an nova.objects.Migration object
        :param migrate_data: implementation specific params

        """
        self._set_migration_status(migration, 'queued')

        def dispatch_live_migration(*args, **kwargs):
            with self._live_migration_semaphore:
                # 调用_do_live_migration执行迁移
                self._do_live_migration(*args, **kwargs)

        # NOTE(danms): We spawn here to return the RPC worker thread back to
        # the pool. Since what follows could take a really long time, we don't
        # want to tie up RPC workers.
        utils.spawn_n(dispatch_live_migration,
                      context, dest, instance,
                      block_migration, migration,
                      migrate_data)

当然实际干活的还不是manager.pydef live_migration,而是live_migration函数去调用_do_live_migration,但是之后的就是热迁移的流程,在之前的文档里写了就不展开了,反正rpc的体现就只到这里

冷迁移中还有很多例子,不一一列举了,有兴趣可以去看冷迁移源码分析这篇博客

看完例子会发现,既然原生的代码既然已经写了rpc调用,那么对应的服务肯定已经提供了rpc接口,所以实际上看到compute_rpcapi,可以不去compute下的rpc文件中找了,直接去compute下的manager看具体实现(不止compute,其他服务也一样),当然,如果需要雪确定是同步还是异步调用那还是不要偷这一步的懒。

总结

完整的rpc应该具有

  • 组件A提供出rpc调用接口(rpc.py或者rpcapi.py文件)
  • 组件B引入组件A的rpc (import或者类实例化传参)
  • 组件B调用组件A的rpc(以rpc方式发送一个请求到消息队列)
  • 组件A处理请求(组件A监听到发给自己的rpc请求会通过manager处理请求)

如果只是看代码,那么去对应的manager下面找实现就可以了,但是如果自己要加就还是的明白从哪里提供的、怎样导入,何种途径接收,这样想在代码里添加自己的rpc调用才心里有数

参考文献:

https://zhuanlan.zhihu.com/p/36427583
https://blog.csdn.net/Jmilk/article/details/52655645
https://www.cnblogs.com/wongbingming/p/11086773.html
https://blog.csdn.net/qq_33909098/article/details/118578133

到此这篇关于openstack中的rpc远程调用的文章就介绍到这了,更多相关openstack rpc调用内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python模拟新浪微博登陆功能(新浪微博爬虫)
Dec 24 Python
python实现爬虫下载漫画示例
Feb 16 Python
Python二维码生成库qrcode安装和使用示例
Dec 16 Python
Python实现国外赌场热门游戏Craps(双骰子)
Mar 31 Python
python图像处理之镜像实现方法
May 30 Python
Python中线程的MQ消息队列实现以及消息队列的优点解析
Jun 29 Python
老生常谈Python startswith()函数与endswith函数
Sep 08 Python
Python实现PS滤镜特效Marble Filter玻璃条纹扭曲效果示例
Jan 29 Python
pandas 对series和dataframe进行排序的实例
Jun 09 Python
pip安装python库的方法总结
Aug 02 Python
python 并发下载器实现方法示例
Nov 22 Python
python中如何设置代码自动提示
Jul 15 Python
Python实现查询剪贴板自动匹配信息的思路详解
如何利用Python实现一个论文降重工具
python实现MD5进行文件去重的示例代码
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 #Python
Python中Selenium对Cookie的操作方法
Python常用配置文件ini、json、yaml读写总结
图文详解matlab原始处理图像几何变换
You might like
php四种基础算法代码实例
2013/10/29 PHP
CodeIgniter多语言实现方法详解
2016/01/20 PHP
laravel框架与其他框架的详细对比
2019/10/23 PHP
Laravel框架自定义分页样式操作示例
2020/01/26 PHP
jquery之empty()与remove()区别说明
2010/09/10 Javascript
常用Extjs工具:Extjs.util.Format使用方法
2012/03/22 Javascript
Jquery实现的角色左右选择特效
2014/05/21 Javascript
jquery实现标签支持图文排列带上下箭头按钮的选项卡
2015/03/14 Javascript
Bootstrap每天必学之级联下拉菜单
2016/03/27 Javascript
js 求时间差的实现代码
2016/04/26 Javascript
跨域请求的完美解决方法(JSONP, CORS)
2016/06/12 Javascript
jQuery Raty 一款不错的星级评分插件
2016/08/24 Javascript
深入理解JavaScript中的for循环
2017/02/07 Javascript
AngularJS+bootstrap实现动态选择商品功能示例
2017/05/17 Javascript
javaScript和jQuery自动加载简单代码实现方法
2017/11/24 jQuery
优雅的elementUI table单元格可编辑实现方法详解
2018/12/23 Javascript
vue+iview动态渲染表格详解
2019/03/19 Javascript
关于vue组件事件属性穿透详解
2019/10/28 Javascript
微信小程序点击view动态添加样式过程解析
2020/01/21 Javascript
[47:38]Optic vs VGJ.S 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/20 DOTA
[01:03:18]DOTA2-DPC中国联赛 正赛 RNG vs Dynasty BO3 第一场 1月29日
2021/03/11 DOTA
python中xrange用法分析
2015/04/15 Python
Python处理session的方法整理
2019/08/29 Python
python加载自定义词典实例
2019/12/06 Python
python如何实现复制目录到指定目录
2020/02/13 Python
台湾菁英交友:结识黄金单身的台湾人
2018/01/22 全球购物
瑞士网球商店:Tennis-Point
2020/03/12 全球购物
牵手50香港:专为黄金岁月的单身人士而设的交友网站
2020/08/14 全球购物
幼儿运动会邀请函
2014/01/17 职场文书
幼儿园保育员岗位职责
2014/04/13 职场文书
公路绿化方案
2014/05/12 职场文书
佛光寺导游词
2015/02/10 职场文书
党员自我评价范文2015
2015/03/03 职场文书
党员“一帮一”活动总结
2015/05/07 职场文书
2016年百日安全生产活动总结
2016/04/06 职场文书
JavaScript架构搭建前端监控如何采集异常数据
2022/06/25 Javascript