如何使用Maxwell实时同步mysql数据


Posted in MySQL onApril 08, 2021

Maxwell简介

maxwell是由java编写的守护进程,可以实时读取mysql binlog并将行更新以JSON格式写入kafka、rabbitMq、redis等中,  这样有了mysql增量数据流,使用场景就很多了,比如:实时同步数据到缓存,同步数据到ElasticSearch,数据迁移等等。

maxwell官网:http://maxwells-daemon.io
 maxwell源代码:https://github.com/zendesk/maxwell

Maxwell的配置与使用

maxwell 依赖java sdk,所以需要先配置JDK环境。

1.下载Maxwell安装包

root@xxx maxwell]# pwd
/usr/local/maxwell
[root@xxx maxwell]# wget https://github.com/zendesk/maxwell/releases/download/v1.19.5/maxwell-1.19.5.tar.gz
[root@xxx maxwell]# tar zxvf maxwell-1.19.5.tar.gz 
[root@xxx maxwell]# cd maxwell-1.19.5

2.配置mysql,打开mysql binlog日志

[root@xxx mysql]# vi /usr/local/mysql/my.cnf 

[mysqld]
log-bin=mysql-bin #添加这一行就
binlog-format=ROW #选择row模式
server_id=1 #随机指定一个不能和其他集群中机器重名的字符串,如果只有一台机器,那就可以随便指定了

重启mysql服务,登陆mysql,查看binlog日志模式

mysql> show variables like '%log_bin%'
+---------------------------------+-------------------------------+
| Variable_name                   | Value                         |
+---------------------------------+-------------------------------+
| log_bin                         | ON                            |
| log_bin_basename                | /data/mysqldb/mysql-bin       |
| log_bin_index                   | /data/mysqldb/mysql-bin.index |
| log_bin_trust_function_creators | OFF                           |
| log_bin_use_v1_row_events       | OFF                           |
| sql_log_bin                     | ON                            |
+---------------------------------+-------------------------------+
6 rows in set (0.11 sec)

Maxwell需要在schema_database选项指定的数据库中存储状态的权限(默认库名称为maxwell),所以需要提前给权限:

#创建一个有同步数据的用户yhrepl
mysql> create user 'yhrepl'@'*' identified by 'scgaopan'; 
Query OK, 0 rows affected (0.10 sec)

#此用户yhrepl要有对需要同步的数据库表有操作权限
mysql> grant all privileges on test.* to 'yhrepl'@'%' identified by 'scgaopan'; 
Query OK, 0 rows affected (0.13 sec)

#给yhrepl有同步数据的权限
mysql> grant select,replication client,replication slave on *.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.10 sec)
# Maxwell需要在schema_database选项指定的数据库中存储状态的权限(默认库名称为maxwell)
mysql> grant all privileges on maxwell.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.09 sec)

3.启动Maxwell,主要介绍数据写入rabbitmq的实战:

[root@xxx maxwell-1.19.5]# vi /usr/local/maxwell/maxwell-1.19.5/config.properties
#日志级别
log_level=DEBUG

producer=rabbitmq
daemon=true

#监控的数据库, mysql用户必须拥有读取binlog权限和新建库表的权限
host=47.105.110.xxx
user=yhrepl
password=scgaopan

output_nulls=true
jdbc_options=autoReconnet=true

#监控数据库中的哪些表
filter=exclude: *.*,include: test.AA

#replica_server_id 和 client_id 唯一标示,用于集群部署
replica_server_id=64
client_id=test-id

#metrics_type=http
#metrics_slf4j_interval=60
#http_port=8111
#http_diagnostic=true # default false

#rabbitmq
rabbitmq_host=47.105.110.xxx
rabbitmq_port=5672
rabbitmq_user=guest
rabbitmq_pass=guest
rabbitmq_virtual_host=/
rabbitmq_exchange=maxwell
rabbitmq_exchange_type=topic
rabbitmq_exchange_durable=false
rabbitmq_exchange_autodelete=false
rabbitmq_routing_key_template=%db%.%table%
rabbitmq_message_persistent=false
rabbitmq_declare_exchange=true

启动Maxwell:

[root@xxx maxwell-1.19.5]# ./bin/maxwell
#可以后台启动
[root@xxx maxwell-1.19.5]# nohub ./bin/maxwell &

启动成功,此时会自动生成maxwell库,该库记录了maxwell同步的状态,最后一次同步的id等等信息,在主库失败或同步异常后,只要maxwell库存在,下次同步会根据最后一次同步的id。如果没有生成maxwell库或报错,可能config.properties中配置的mysql用户权限不够

rabbitmq的操作

rabbitmq的操作,启动maxwell后就有一个maxwell的exchage生成

如何使用Maxwell实时同步mysql数据

但对应的queue和exchange和queue的绑定需要用户自己去实现

新建一个maxwell-test的queue:

如何使用Maxwell实时同步mysql数据

把queue与exchange进行绑定:

如何使用Maxwell实时同步mysql数据

注意,这里的Routing key 是区分大小写的

在数据库中修改一条记录,可以看到maxwell-test队列里面有一第记录了。

如何使用Maxwell实时同步mysql数据

全量同步

使用maxwell-bootstrap命令

./bin/maxwell-bootstrap --database xhd --table xhd-sso --host 127.0.0.1 --user xiehd --password xiehd2018 --client_id maxwell_dev

同步xhd.xhd-sso表的所有数据,并指定client_id示maxwell_dev的maxwell执行同步

上一个命令先开着,然后再启动client_id=maxwell_dev的maxwell

./bin/maxwell --client_id maxwell_dev

等待执行完成即可

以上就是如何使用Maxwell实时同步mysql数据的详细内容,更多关于用Maxwell同步mysql数据的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL查看表和清空表的常用命令总结
May 26 MySQL
MySQL CHAR和VARCHAR该如何选择
May 31 MySQL
MySQL 不等于的三种使用及区别
Jun 03 MySQL
你知道哪几种MYSQL的连接查询
Jun 03 MySQL
MySQL约束超详解
Sep 04 MySQL
MySQL中几种插入和批量语句实例详解
Sep 14 MySQL
mysql主从复制的实现步骤
Oct 24 MySQL
mysql下的max_allowed_packet参数设置详解
Feb 12 MySQL
MySQL插入数据与查询数据
Mar 25 MySQL
讲解MySQL增删改操作
May 06 MySQL
MySQL 语句执行顺序举例解析
Jun 05 MySQL
MySQL的意向共享锁、意向排它锁和死锁
Jul 15 MySQL
MySQL创建索引需要了解的
Apr 08 #MySQL
MySQL 使用SQL语句修改表名的实现
详解Mysql 函数调用优化
Apr 07 #MySQL
MySQL复制问题的三个参数分析
Apr 07 #MySQL
MySQL pt-slave-restart工具的使用简介
Apr 07 #MySQL
MySQL主从复制断开的常用修复方法
Apr 07 #MySQL
MySQL infobright的安装步骤
Apr 07 #MySQL
You might like
BBS(php & mysql)完整版(四)
2006/10/09 PHP
PHP实现定时生成HTML网站首页实例代码
2008/11/20 PHP
解析php取整的几种方式
2013/06/25 PHP
PHP三种方式实现链式操作详解
2017/01/21 PHP
php正则提取html图片(img)src地址与任意属性的方法
2017/02/08 PHP
THINKPHP-Apache服务器中使用Alias虚拟目录URL重写 隐藏index.php
2021/03/09 PHP
javascript之水平横向滚动歌词同步的应用
2007/05/07 Javascript
List Installed Hot Fixes
2007/06/12 Javascript
一个CSS+jQuery实现的放大缩小动画效果
2014/02/19 Javascript
使用Jquery实现每日签到功能
2015/04/03 Javascript
JavaScript判断表单为空及获取焦点的方法
2016/02/12 Javascript
Vue2递归组件实现树形菜单
2017/04/10 Javascript
Scala解析Json字符串的实例详解
2017/10/11 Javascript
Vue侧滑菜单组件——DrawerLayout
2017/12/18 Javascript
JavaScript中常见内置函数用法示例
2018/05/14 Javascript
小程序实现左右来回滚动字幕效果
2018/12/28 Javascript
使用ESLint禁止项目导入特定模块的方法步骤
2019/03/04 Javascript
详解使用React制作一个模态框
2019/03/14 Javascript
Vue 3.x+axios跨域方案的踩坑指南
2019/07/04 Javascript
python在windows下创建隐藏窗口子进程的方法
2015/06/04 Python
python实现感知器
2017/12/19 Python
对Python中range()函数和list的比较
2018/04/19 Python
django执行数据库查询之后实现返回的结果集转json
2020/03/31 Python
Python3将ipa包中的文件按大小排序
2020/04/17 Python
Django中ORM找出内容不为空的数据实例
2020/05/20 Python
详解Pycharm与anaconda安装配置指南
2020/08/25 Python
餐饮业创业计划书范文
2014/01/06 职场文书
电子工程专业毕业生求职信
2014/03/14 职场文书
五水共治捐款倡议书
2014/05/14 职场文书
2014年健康教育工作总结
2014/11/20 职场文书
教师岗位说明书
2015/09/30 职场文书
2017年大学生寒假社会实践活动总结
2016/04/06 职场文书
2019个人工作态度自我评价
2019/04/24 职场文书
ORACLE查看当前账号的相关信息
2021/06/18 Oracle
jQuery实现广告显示和隐藏动画
2021/07/04 jQuery
vue elementUI表格控制对应列
2022/04/13 Vue.js