剖析后OpLog订阅MongoDB的数据变更就没那么难了


Posted in MongoDB onFebruary 24, 2022

前言

我们开源了一个订阅分发mysql的binlog的项目,一直用的非常好,忽然有天开发说能不能支持MongoDB的数据订阅呢,MongoDB的使用度也挺广泛的。安排。经过简单的了解后发现MongoDB也有类似binlog的机制,最终花了两天时间把功能完成,并统一抽象集成到binlog开源项目中,使用和binlog同一套订阅分发模型管理MongoDB数据源。整个过程非常顺利,比整mysql的binlog要简单的多了。

oplog简介

先来聊聊MongoDB的主备机制,和mysql的binlog类似,在MongoDB中,有一个系统库“”Local”,库里有一个集合“oplog.rs”,这个集合类似于binlog文件,里面记录了MongoDB的所有操作。从节点通过读取oplog.rs里的数据做到数据同步。

解析oplog

和订阅mysql的binlog一样(模拟一个从节点mysql)。我们的订阅服务要像从节点那样读取解析oplog.rs里的数据。解析前先看下oplog.rs的Document的数据结构

剖析后OpLog订阅MongoDB的数据变更就没那么难了

上图是一个插入的数据的日志,可见oplog的doc中共有如下字段,含义分别如下:

ts:操作的时间戳(非常重要)

t:term最初在主数据库上生成操作的。(含义不明)

h:本次操作的唯一hashID

v: 版本号

op:操作类型,有六种类型,我们只需要关注其中的i(插入)、u(更新)、d(删除)即可

ns:库名和集合名称,中间使用“.”连接

o:本次操作的document内容

o2:只有op操作类型时u更新时,才会有这个字段,代表更新的条件语句

$set:o2获取后的文档里的属性,代表更新的字段

如上字段,完成一次oplog的解析,只需要ts、op、ns、o、o2、$set即可,其中ts非常重要,可以类比为binlog中的Position。同步mysql的数据时,通过记录消费binlog的位置,也就是Position,可以有效避免订阅服务停机后,消费记录丢失的问题。同步MongoDB时,通过记录ts的值,来记录消费的位置,可以到达和订阅binlog一样的效果。和mysql订阅不同的是,MongoDB的同步需要同步服务自己查询,而且oplog在MongoDB4.0之前的版本有大小限制,超过设置的容量后,老的数据就会被丢失,在4.0之后的版本已经解除了这个限制。

代码

上面已经分析了oplog的结构以及订阅步骤,下面我们直接构建查询即可,需要注意,每次获取到的ts值,需要存储记录下来,已便重新订阅时,从上次断开的记录重新开始。下面直接看代码,重点逻辑都以注释详尽

private BsonTimestamp queryTs;
    @Test
    public void OpLogTest() {
        MongoClient mongoClient = new MongoClient(new MongoClientURI("mongodb://admin:admin@127.0.0.1:3717"));
        MongoCollectioncollection = mongoClient.getDatabase("local")
                .getCollection("oplog.rs");

        //如果是首次订阅,需要使用自然排序查询,获取第最后一次操作的操作时间戳。如果是续订阅直接读取记录的值赋值给queryTs即可
        FindIterabletsCursor = collection.find().sort(new BasicDBObject("$natural", -1))
                .limit(1);
        Document tsDoc = tsCursor.first();
        queryTs = (BsonTimestamp) tsDoc.get("ts");
        while (true) try {
            //构建查询语句,查询大于当前查询时间戳queryTs的记录
            BasicDBObject query = new BasicDBObject("ts", new BasicDBObject("$gt", queryTs));
            MongoCursordocCursor = collection.find(query)
                    .cursorType(CursorType.TailableAwait) //没有数据时阻塞休眠
                    .noCursorTimeout(true) //防止服务器在不活动时间(10分钟)后使空闲的游标超时。
                    .oplogReplay(true) //结合query条件,获取增量数据,这个参数比较难懂,见:https://docs.mongodb.com/manual/reference/command/find/index.html
                    .maxAwaitTime(1, TimeUnit.SECONDS) //设置此操作在服务器上的最大等待执行时间
                    .iterator();
            while (docCursor.hasNext()) {
                Document document = docCursor.next();
                //更新查询时间戳
                queryTs = (BsonTimestamp) document.get("ts");
                //TODO 在这里接收到数据后通过订阅数据路由分发

                String op = document.getString("op");
                String database = document.getString("ns");
                Document context = (Document) document.get("o");
                Document where = null;
                if (op.equals("u")) {
                    where = (Document) document.get("o2");
                    if (context != null) {
                        context = (Document) context.get("$set");
                    }
                }
                System.err.println("操作时间戳:" + queryTs.getTime());
                System.err.println("操作类  型:" + op);
                System.err.println("数据库.集合:" + database);
                System.err.println("更新条件:" + JSON.toJSONString(where));
                System.err.println("文档内容:" + JSON.toJSONString(context));
            }
        } catch (Exception e) { e.printStackTrace(); }
    }

结语

上面代码只是一个简单的测试用例,完整的应用还需要考虑ts的记录更新,事件的抽象,数据的分发等。我们已经开源的binlog订阅分发项目目前支持数据源在线管理,订阅数据(库、表)在线管理,如果能够使用同一套管理后台管理binlog和oplog的订阅在好不过。要实现和binlog统一管理模型,配置和分发方面基本不需要改动,然后从顶层数据源方面做区分实现即可。

目前我们整合管理的功能都已经开发好了,关于oplog部分的代码还没提交到github上,后面会和大家相见。

以上就是剖析后OpLog订阅MongoDB的数据变更就没那么难了的详细内容,更多关于OpLog订阅MongoDB的数据变更的资料请关注三水点靠木其它相关文章!

MongoDB 相关文章推荐
MongoDB数据库的安装步骤
Jun 18 MongoDB
MongoDB数据库常用的10条操作命令
Jun 18 MongoDB
MongoDB orm框架的注意事项及简单使用
Jun 20 MongoDB
详解MongoDB的条件查询和排序
Jun 23 MongoDB
mongodb的安装和开机自启动详细讲解
Aug 02 MongoDB
mongodb清除连接和日志的正确方法分享
Sep 15 MongoDB
centos8安装MongoDB的详细过程
Oct 24 MongoDB
SpringBoot系列之MongoDB Aggregations用法详解
Feb 12 MongoDB
SpringBoot 整合mongoDB并自定义连接池的示例代码
Feb 28 MongoDB
一次线上mongo慢查询问题排查处理记录
Mar 18 MongoDB
NoSQL优缺点与MongoDB数据库简介
Jun 05 MongoDB
MongoDB使用场景总结
SpringBoot系列之MongoDB Aggregations用法详解
MongoDB连接数据库并创建数据等使用方法
springboot + mongodb 通过经纬度坐标匹配平面区域的方法
Nov 01 #MongoDB
centos8安装MongoDB的详细过程
关于CentOS 8 搭建MongoDB4.4分片集群的问题
MongoDB日志切割的三种方式总结
Sep 15 #MongoDB
You might like
一个查看session内容的函数
2006/10/09 PHP
PHP 输出缓存详解
2009/06/20 PHP
Admin generator, filters and I18n
2011/10/06 PHP
Yii2实现上下联动下拉框功能的方法
2016/08/10 PHP
PHP实现的方程求解示例分析
2016/11/11 PHP
JavaScipt基本教程之JavaScript语言的基础
2008/01/16 Javascript
Ext面向对象开发实践(续)
2008/11/18 Javascript
jquery load()在firefox(火狐)下显示不正常的解决方法
2011/04/05 Javascript
获取元素距离浏览器周边的位置的方法getBoundingClientRect
2013/04/17 Javascript
Jquery获取复选框被选中值的简单方法
2013/07/04 Javascript
jquery的选择器的使用技巧之如何选择input框
2013/09/22 Javascript
jQuery EasyUI菜单与按钮详解
2016/07/13 Javascript
jquery动态遍历Json对象的属性和值的方法
2016/07/27 Javascript
自定义vue全局组件use使用、vuex的使用详解
2017/06/14 Javascript
easyui简介_动力节点Java学院整理
2017/07/14 Javascript
vue elementUI tree树形控件获取父节点ID的实例
2018/09/12 Javascript
使用jquery的cookie实现登录页记住用户名和密码的方法
2019/03/13 jQuery
vue使用高德地图点击下钻上浮效果的实现思路
2019/10/12 Javascript
Node.js 在本地生成日志文件的方法
2020/02/07 Javascript
vue+element UI实现树形表格
2020/12/29 Vue.js
python生成日历实例解析
2014/08/21 Python
十条建议帮你提高Python编程效率
2016/02/16 Python
Python处理JSON时的值报错及编码报错的两则解决实录
2016/06/26 Python
python实现一个简单的udp通信的示例代码
2019/02/01 Python
pyqt5 实现在别的窗口弹出进度条
2019/06/18 Python
Python使用lambda表达式对字典排序操作示例
2019/07/25 Python
python wxpython 实现界面跳转功能
2019/12/17 Python
django xadmin 管理器常用显示设置方式
2020/03/11 Python
Python爬虫后获取重定向url的两种方法
2021/01/19 Python
娱乐地球:Entertainment Earth
2020/01/08 全球购物
Tahari ASL官方网站:高级设计师女装
2021/03/15 全球购物
在校生钳工实习自我鉴定
2013/09/19 职场文书
小学后勤管理制度
2014/01/14 职场文书
《月光启蒙》教学反思
2014/03/01 职场文书
入党介绍人考察意见
2015/06/01 职场文书
社会实践心得体会范文
2016/01/14 职场文书