openstack中的rpc远程调用的方法


Posted in Python onJuly 09, 2021

众所周知,OpenStack的通信方式有两种,一种是基于HTTP协议的RESTFul API方式,另一种则是RPC调用。两种通信方式的应用场景有所不同,在OpenStack中,前者主要用于各组件之间的通信(如nova与glance的通信),而后者则用于同一组件中各个不同模块之间的通信(如nova组件中nova-compute与nova-scheduler的通信)。

nova中rpc调用非常多,用pycharm点点点跟函数的时候遇到rpc就会点不下去了,不解决直接就看不下去了那种多法

什么是 RPC

openstack中的rpc远程调用的方法

看不明白这个图对于看nova代码,其实不是很重要,直接忽略以后再看也可以,当务之急是解决一下看openstack代码遇到rpc就跟丢了的问题

RPC、消息队列、RESTful

这三个其实不是一个层面的东西,本质上不应该放在一起比,但是因为都用来通信,比较容易混淆就还是解释一下

  • RESTful:主要用于各组件之间的通信(比如nova与glance的通信),或者说用于组件对外提供调用接口
  • RPC:则用于同一组件中各个不同模块之间的通信(比如nova组件中nova-compute与-nova-scheduler的通信)
  • 消息队列:用于解耦组件,也是组件间通信用的,而且会有一个队列用来暂存消息

在nova中的典型rpc

nova/nova/nova/conductor/tasks/live_migrate.py

class LiveMigrationTask(base.TaskBase):
    def __init__(self, context, instance, destination,
                 block_migration, disk_over_commit, migration, compute_rpcapi,
                 servicegroup_api, scheduler_client):
        super(LiveMigrationTask, self).__init__(context, instance)
    ... 

    def _execute(self):
        self._check_instance_is_active()
        self._check_host_is_up(self.source)

        if not self.destination:
            self.destination = self._find_destination()
            self.migration.dest_compute = self.destination
            self.migration.save()
        else:
            self._check_requested_destination()

        # TODO(johngarbutt) need to move complexity out of compute manager
        # TODO(johngarbutt) disk_over_commit?

        #调用 ComputeAPI 类中的 live_migration() RPC接口
        return self.compute_rpcapi.live_migration(self.context,
                host=self.source,
                instance=self.instance,
                dest=self.destination,
                block_migration=self.block_migration,
                migration=self.migration,
                migrate_data=self.migrate_data)

conductorcompute_rpcapi.live_migration的方式远程调用computelive_migration,过程就是, conductorRPC的方式发出一个请求到Queue再被nova-compute接收

nova/nova/nova/compute/rpcapi.py

class ComputeAPI(object):

    # 这是一个RPC远程调用的方法
    def live_migration(self, ctxt, instance, dest, block_migration, host,
                       migration, migrate_data=None):
        args = {'migration': migration}
        version = '4.2'
        if not self.client.can_send_version(version):
            version = '4.0'

        # 获取目标 compute 主机(DEST HOST)的RPC client,即被调用的服务进程的HostIP
        cctxt = self.client.prepare(server=host, version=version)

        # 通过目标主机对象的 RPC cliient 来调用远程过程方法 cast() ,以此来实现远程调用
        cctxt.cast(ctxt, 'live_migration', instance=instance,
                   dest=dest, block_migration=block_migration,
                   migrate_data=migrate_data, **args)
        # cast()异步远程调用,不会阻塞别的进程,适合于需要长时间进行的执行过程
        # cast()的第二个参数是RPC client调用的函数名,case()后面的参数会继续作为参数传入该调用函数
        # cast()函数内的live_migration()函数是 manager.live_migration() 视具体实现迁移功能的函数,在manager.py内实现。

调用的时候是从nova/nova/conductor/tasks/live_migrate.pynova/nova/compute/rpcapi.py,但是实际上是compute服务首先得在rpcapi.py提供出接口函数,然后使用者通过
- 1. import导入的方式去使用rpc调用
- 2. 类实例化传参的方式去引入

热迁移这里用的就是类实例化传参

tip: call()表示同步调用 和 cast()表示异步调用

openstack中的rpc远程调用的方法

根据在rpc.py或者rpcapi.py中的cast()的第二个参数,去该服务下的manager.py中找和这个参数同名的函数(这个就是rpc最终想要调用的函数),我们这里是compute_rpcapi,所以要去找compute下的mannager.py

为什么要去找mannager,是因为nova.compute.manager 会一直监听 Queue ,当Queue中存在相关的 RPC 请求时,就去完成这个请求

nova/nova/nova/compute/manager.py

@wrap_exception()
    @wrap_instance_event(prefix='compute')
    @wrap_instance_fault
    def live_migration(self, context, dest, instance, block_migration,
                       migration, migrate_data):
        """执行实时迁移。

        :param context: security context
        :param dest: destination host
        :param instance: a nova.objects.instance.Instance object
        :param block_migration: if true, prepare for block migration
        :param migration: an nova.objects.Migration object
        :param migrate_data: implementation specific params

        """
        self._set_migration_status(migration, 'queued')

        def dispatch_live_migration(*args, **kwargs):
            with self._live_migration_semaphore:
                # 调用_do_live_migration执行迁移
                self._do_live_migration(*args, **kwargs)

        # NOTE(danms): We spawn here to return the RPC worker thread back to
        # the pool. Since what follows could take a really long time, we don't
        # want to tie up RPC workers.
        utils.spawn_n(dispatch_live_migration,
                      context, dest, instance,
                      block_migration, migration,
                      migrate_data)

当然实际干活的还不是manager.pydef live_migration,而是live_migration函数去调用_do_live_migration,但是之后的就是热迁移的流程,在之前的文档里写了就不展开了,反正rpc的体现就只到这里

冷迁移中还有很多例子,不一一列举了,有兴趣可以去看冷迁移源码分析这篇博客

看完例子会发现,既然原生的代码既然已经写了rpc调用,那么对应的服务肯定已经提供了rpc接口,所以实际上看到compute_rpcapi,可以不去compute下的rpc文件中找了,直接去compute下的manager看具体实现(不止compute,其他服务也一样),当然,如果需要雪确定是同步还是异步调用那还是不要偷这一步的懒。

总结

完整的rpc应该具有

  • 组件A提供出rpc调用接口(rpc.py或者rpcapi.py文件)
  • 组件B引入组件A的rpc (import或者类实例化传参)
  • 组件B调用组件A的rpc(以rpc方式发送一个请求到消息队列)
  • 组件A处理请求(组件A监听到发给自己的rpc请求会通过manager处理请求)

如果只是看代码,那么去对应的manager下面找实现就可以了,但是如果自己要加就还是的明白从哪里提供的、怎样导入,何种途径接收,这样想在代码里添加自己的rpc调用才心里有数

参考文献:

https://zhuanlan.zhihu.com/p/36427583
https://blog.csdn.net/Jmilk/article/details/52655645
https://www.cnblogs.com/wongbingming/p/11086773.html
https://blog.csdn.net/qq_33909098/article/details/118578133

到此这篇关于openstack中的rpc远程调用的文章就介绍到这了,更多相关openstack rpc调用内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python制作企业邮箱的爆破脚本
Oct 05 Python
Python爬取网易云音乐上评论火爆的歌曲
Jan 19 Python
pytz格式化北京时间多出6分钟问题的解决方法
Jun 21 Python
python异步实现定时任务和周期任务的方法
Jun 29 Python
在python 中split()使用多符号分割的例子
Jul 15 Python
Django 自定义分页器的实现代码
Nov 24 Python
Python3.7实现验证码登录方式代码实例
Feb 14 Python
基于Python计算圆周率pi代码实例
Mar 25 Python
Pyspark获取并处理RDD数据代码实例
Mar 27 Python
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
Jun 06 Python
Python collections.defaultdict模块用法详解
Jun 18 Python
Pytest如何使用skip跳过执行测试
Aug 13 Python
Python实现查询剪贴板自动匹配信息的思路详解
如何利用Python实现一个论文降重工具
python实现MD5进行文件去重的示例代码
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 #Python
Python中Selenium对Cookie的操作方法
Python常用配置文件ini、json、yaml读写总结
图文详解matlab原始处理图像几何变换
You might like
php下的权限算法的实现
2007/04/28 PHP
php在服务器执行exec命令失败的解决方法
2012/03/03 PHP
深入php中var_dump方法的使用详解
2013/06/24 PHP
PHP如何通过表单直接提交大文件详解
2019/01/08 PHP
thinkphp框架使用JWTtoken的方法详解
2019/10/10 PHP
javascript 动态参数判空操作
2008/12/22 Javascript
JS实现将人民币金额转换为大写的示例代码
2014/02/13 Javascript
jQuery 复合选择器应用的几个例子
2014/09/11 Javascript
JavaScript字符串对象charAt方法入门实例(用于取得指定位置的字符)
2014/10/17 Javascript
JQuery中DOM事件合成用法实例分析
2015/06/13 Javascript
JavaScript与HTML的结合方法详解
2015/11/23 Javascript
jquery.cookie.js用法实例详解
2015/12/25 Javascript
React.js入门实例教程之创建hello world 的5种方式
2016/05/11 Javascript
js指定步长实现单方向匀速运动
2017/07/17 Javascript
Angular中使用better-scroll插件的方法
2018/03/27 Javascript
微信小程序使用canvas的画图操作示例
2019/01/18 Javascript
详解mpvue实现对苹果X安全区域的适配
2019/07/31 Javascript
[03:36]2015国际邀请赛第二日现场精彩集锦
2015/08/06 DOTA
python爬虫入门教程--正则表达式完全指南(五)
2017/05/25 Python
Python设计模式之命令模式原理与用法实例分析
2019/01/11 Python
Python地图绘制实操详解
2019/03/04 Python
利用python将图片版PDF转文字版PDF
2019/05/03 Python
Python3爬虫中关于Ajax分析方法的总结
2020/07/10 Python
python爬虫线程池案例详解(梨视频短视频爬取)
2021/02/20 Python
html5简介及新增功能介绍
2020/05/18 HTML / CSS
美国南部最大的家族百货公司:Belk
2017/01/30 全球购物
Senreve官网:美国旧金山的奢侈手袋品牌
2019/03/21 全球购物
法人授权委托书
2014/04/03 职场文书
大学生安全责任书
2014/07/25 职场文书
上班迟到检讨书300字
2014/10/18 职场文书
史上最牛辞职信
2015/05/13 职场文书
大国崛起观后感
2015/06/02 职场文书
悬崖上的金鱼姬观后感
2015/06/15 职场文书
vue前端工程的搭建
2021/03/31 Vue.js
Windows Server 2019 安装DHCP服务及相关配置
2022/04/28 Servers
Go结合Gin导出Mysql数据到Excel表格
2022/08/05 Golang