mysql分表之后如何平滑上线详解


Posted in MySQL onNovember 01, 2021

分表的目的

项目开发中,我们的数据库数据越来越大,随之而来的是单个表中数据太多。以至于查询数据变慢,而且由于表的锁机制导致应用操作也受到严重影响,出现了数据库性能瓶颈。

当出现这种情况时,我们可以考虑分表,即将单个数据库表进行拆分,拆分成多个数据表,然后用户访问的时候,根据一定的算法,让用户访问不同的表,这样数据分散到多个数据表中,减少了单个数据表的访问压力。提升了数据库访问性能。

举个栗子

比如咱们最常见的用户表(user表)

 

id user_id 其他字段
主键id 用户id 其他字段

咱们一般都会用user_id去查询对应的用户信息,但是随着业务的增长,这张表会越来越大,甚至上亿,严重影响了查询性能。 所以咱们就会对这张表进行分表处理,分到多张表减小查询压力

分表策略

以分10张表为例(具体分多少张表 根据实际情况来估算) 首先咱们建10张表 user1、user2、user3。。。。。user10

一般情况下,我们都会用作为索引的字段(user_id)进行取模处理。想分多少张表,就按照多少取模,比如这个case就是10

$table_name = $user_id % 10;

按照上面的取模公式

  • user_id为1295的会落在user5里面
  • user_id为8634的会落在user4里面
  • 。。。。。。。

「每次CURD根据上面查找表的策略进行就行了」,这个问题不大,我们暂且先不多说。

已经上线的运行中的表怎么办?

其实上面的方法大家应该都知道怎么用,但是有个问题,已经上线了的表怎么办?那张表的数据在线上是一直被查找或者改变的。如何能够进行平滑的分表,并且让用户无感知呢?

方法1

直接上线,提前写个脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,一上线了赶紧执行

这种方法明显是行不通的,主要是存在以下问题

  • 如果执行过程中脚本有问题怎么办?代码全部回滚?
  • 脚本把把旧表(user)的数据同步到user1表到user10表,这个脚本得执行多久? 如果是1个小时,那么这段时间线上和这张表相关的业务都是不正常的

这显然是行不通的,对线上影响很大。

方法2

先写个同步数据的脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,脚本同步完了再上线。

这个方法看起来友好了一些,不过也存在一些问题。

  • 脚本同步完,立即上线,这两件事之间是有一些时间差的,这个时间差中线上表可能有一些改动,这些改动怎么办?

「以上两种方法看起来貌似都行不通,所以看来得来点不一样的了。咱们直接看结论。」

步骤1 上线双写

首先咱们把双写上线了,什么意思呢?比如user_id=123,对于增加,删除,修改操作来说,咱们既操作user表,也操作user_id=123对应的user3表。

function modify($user_id){  //包含增加,删除,修改操作
  modify_user();  //modify user表
  $table_name = $user_id % 10;
  modify_user($table_name) //modify对应的分表
}

因为查询的部分还是在user表中查询的,所以上面的操作对线上用户是无任何影响的。

步骤2 全量同步

写一个全量同步user表到user1-user10的表,最好找个低峰期执行脚本,以防万一影响user表的查询

这一步执行之后,因为咱们之前上线了双写(见步骤1),所以user表和user1-user10表之间的数据已经是完全一致的了。

步骤3 查询新表数据

将查询的部分改到user1-user10

因为前面两个步骤咱们已经保证了user表和各个分表之间的数据完全一致性,所以直接把查询的部分改掉是没有任何问题的

如果按照以上步骤执行,那么对线上的数据是没有任何影响的,而且我们线上就是这么操作了,经过了多次实践确保不会出问题,放心使用即可。

总结

到此这篇关于mysql分表之后如何平滑上线的文章就介绍到这了,更多相关mysql分表平滑上线内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
浅谈MySQL next-key lock 加锁范围
Jun 07 MySQL
分析mysql中一条SQL查询语句是如何执行的
Jun 21 MySQL
MySQL系列之五 视图、存储函数、存储过程、触发器
Jul 02 MySQL
mysql备份策略的实现(全量备份+增量备份)
Jul 07 MySQL
Mysql中where与on的区别及何时使用详析
Aug 04 MySQL
分享几个简单MySQL优化小妙招
Mar 31 MySQL
Innodb存储引擎中的后台线程详解
Apr 03 MySQL
MySQL创建管理HASH分区
Apr 13 MySQL
使用Mysql计算地址的经纬度距离和实时位置信息
Apr 29 MySQL
Mysql表数据比较大情况下修改添加字段的方法实例
Jun 28 MySQL
关于MySQL中explain工具的使用
May 08 MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
mysql事务对效率的影响分析总结
Oct 24 #MySQL
mysql事务隔离级别详情
mysql主从复制的实现步骤
记一次Mysql不走日期字段索引的原因小结
Oct 24 #MySQL
Mysql关于数据库是否应该使用外键约束详解说明
Oct 24 #MySQL
You might like
Snoopy类使用小例子
2008/04/15 PHP
提高PHP编程效率 引入缓存机制提升性能
2010/02/15 PHP
PHP 加密解密内部算法
2010/04/22 PHP
延长phpmyadmin登录时间的方法
2011/02/06 PHP
使用PHP遍历文件夹与子目录的函数代码
2011/09/26 PHP
php一行代码获取文件后缀名实例分析
2014/11/12 PHP
php随机获取金山词霸每日一句的方法
2015/07/09 PHP
PHP is_array() 检测变量是否是数组的实现方法
2016/06/13 PHP
Yii框架核心组件类实例详解
2019/08/06 PHP
jquery 循环显示div的示例代码
2013/10/18 Javascript
javascript 用函数语句和表达式定义函数的区别详解
2014/01/06 Javascript
用js闭包的方法实现多点标注冒泡示例
2014/05/29 Javascript
JavaScript获取伪元素(Pseudo-Element)属性的方法技巧
2015/03/13 Javascript
nodejs个人博客开发第一步 准备工作
2017/04/12 NodeJs
使用 Node.js 模拟滑动拼图验证码操作的示例代码
2017/11/02 Javascript
利用ECharts.js画K线图的方法示例
2018/01/10 Javascript
Nodejs 发布自己的npm包并制作成命令行工具的实例讲解
2018/05/15 NodeJs
详解JavaScript 中 if / if...else...替换方式
2018/07/15 Javascript
[07:52]2014DOTA2 TI逗比武士游V社解说背后的故事
2014/07/10 DOTA
详解python中xlrd包的安装与处理Excel表格
2016/12/16 Python
Python文本处理之按行处理大文件的方法
2018/04/09 Python
用Pycharm实现鼠标滚轮控制字体大小的方法
2019/01/15 Python
python 基于TCP协议的套接字编程详解
2019/06/29 Python
python hashlib加密实现代码
2019/10/17 Python
python实现交并比IOU教程
2020/04/16 Python
不到20行实现Python代码即可制作精美证件照
2020/04/24 Python
scrapy中如何设置应用cookies的方法(3种)
2020/09/22 Python
python palywright库基本使用
2021/01/21 Python
css3实现的下拉菜单效果示例
2014/01/22 HTML / CSS
美国网上书店:Barnes & Noble
2018/08/15 全球购物
Capitol Lighting的1800lighting.com:住宅和商业照明
2019/04/10 全球购物
《雨霖铃》听课反思
2014/02/13 职场文书
制作部班长职位说明书
2014/02/26 职场文书
读书活动实施方案
2014/03/10 职场文书
2019年大学生职业生涯规划书
2019/03/25 职场文书
OpenCV绘制圆端矩形的示例代码
2021/08/30 Python