mysql分表之后如何平滑上线详解


Posted in MySQL onNovember 01, 2021

分表的目的

项目开发中,我们的数据库数据越来越大,随之而来的是单个表中数据太多。以至于查询数据变慢,而且由于表的锁机制导致应用操作也受到严重影响,出现了数据库性能瓶颈。

当出现这种情况时,我们可以考虑分表,即将单个数据库表进行拆分,拆分成多个数据表,然后用户访问的时候,根据一定的算法,让用户访问不同的表,这样数据分散到多个数据表中,减少了单个数据表的访问压力。提升了数据库访问性能。

举个栗子

比如咱们最常见的用户表(user表)

 

id user_id 其他字段
主键id 用户id 其他字段

咱们一般都会用user_id去查询对应的用户信息,但是随着业务的增长,这张表会越来越大,甚至上亿,严重影响了查询性能。 所以咱们就会对这张表进行分表处理,分到多张表减小查询压力

分表策略

以分10张表为例(具体分多少张表 根据实际情况来估算) 首先咱们建10张表 user1、user2、user3。。。。。user10

一般情况下,我们都会用作为索引的字段(user_id)进行取模处理。想分多少张表,就按照多少取模,比如这个case就是10

$table_name = $user_id % 10;

按照上面的取模公式

  • user_id为1295的会落在user5里面
  • user_id为8634的会落在user4里面
  • 。。。。。。。

「每次CURD根据上面查找表的策略进行就行了」,这个问题不大,我们暂且先不多说。

已经上线的运行中的表怎么办?

其实上面的方法大家应该都知道怎么用,但是有个问题,已经上线了的表怎么办?那张表的数据在线上是一直被查找或者改变的。如何能够进行平滑的分表,并且让用户无感知呢?

方法1

直接上线,提前写个脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,一上线了赶紧执行

这种方法明显是行不通的,主要是存在以下问题

  • 如果执行过程中脚本有问题怎么办?代码全部回滚?
  • 脚本把把旧表(user)的数据同步到user1表到user10表,这个脚本得执行多久? 如果是1个小时,那么这段时间线上和这张表相关的业务都是不正常的

这显然是行不通的,对线上影响很大。

方法2

先写个同步数据的脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,脚本同步完了再上线。

这个方法看起来友好了一些,不过也存在一些问题。

  • 脚本同步完,立即上线,这两件事之间是有一些时间差的,这个时间差中线上表可能有一些改动,这些改动怎么办?

「以上两种方法看起来貌似都行不通,所以看来得来点不一样的了。咱们直接看结论。」

步骤1 上线双写

首先咱们把双写上线了,什么意思呢?比如user_id=123,对于增加,删除,修改操作来说,咱们既操作user表,也操作user_id=123对应的user3表。

function modify($user_id){  //包含增加,删除,修改操作
  modify_user();  //modify user表
  $table_name = $user_id % 10;
  modify_user($table_name) //modify对应的分表
}

因为查询的部分还是在user表中查询的,所以上面的操作对线上用户是无任何影响的。

步骤2 全量同步

写一个全量同步user表到user1-user10的表,最好找个低峰期执行脚本,以防万一影响user表的查询

这一步执行之后,因为咱们之前上线了双写(见步骤1),所以user表和user1-user10表之间的数据已经是完全一致的了。

步骤3 查询新表数据

将查询的部分改到user1-user10

因为前面两个步骤咱们已经保证了user表和各个分表之间的数据完全一致性,所以直接把查询的部分改掉是没有任何问题的

如果按照以上步骤执行,那么对线上的数据是没有任何影响的,而且我们线上就是这么操作了,经过了多次实践确保不会出问题,放心使用即可。

总结

到此这篇关于mysql分表之后如何平滑上线的文章就介绍到这了,更多相关mysql分表平滑上线内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
详解MySQL InnoDB存储引擎的内存管理
Apr 08 MySQL
mysql 8.0.24 安装配置方法图文教程
May 12 MySQL
新手必备之MySQL msi版本下载安装图文详细教程
May 21 MySQL
MYSQL 无法识别中文的永久解决方法
Jun 03 MySQL
Mysql 如何查询时间段交集
Jun 08 MySQL
MySQL系列之开篇 MySQL关系型数据库基础概念
Jul 02 MySQL
MySQL系列之十五 MySQL常用配置和性能压力测试
Jul 02 MySQL
MySQL系列之八 MySQL服务器变量
Jul 02 MySQL
JMeter对MySQL数据库进行压力测试的实现步骤
Jan 22 MySQL
解析MySQL索引的作用
Mar 03 MySQL
mysql数据插入覆盖和时间戳的问题及解决
Mar 25 MySQL
MySQL实现字段分割一行转多行的示例代码
Jul 07 MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
mysql事务对效率的影响分析总结
Oct 24 #MySQL
mysql事务隔离级别详情
mysql主从复制的实现步骤
记一次Mysql不走日期字段索引的原因小结
Oct 24 #MySQL
Mysql关于数据库是否应该使用外键约束详解说明
Oct 24 #MySQL
You might like
《魔兽世界》惊魂幻象将获得调整
2020/03/08 其他游戏
PHP函数addslashes和mysql_real_escape_string的区别
2014/04/22 PHP
PHP邮箱验证示例教程
2016/06/01 PHP
PHP使用redis位图bitMap 实现签到功能
2019/10/08 PHP
PHP高并发和大流量解决方案整理
2019/12/24 PHP
thinkphp诸多限制条件下如何getshell详解
2020/12/09 PHP
encode脚本和normal脚本混用的问题与解决方法
2007/03/08 Javascript
自动完成JS类(纯JS, Ajax模式)
2009/03/12 Javascript
js判断两个日期是否相等的方法
2013/09/10 Javascript
js setTimeout opener的用法示例详解
2013/10/23 Javascript
js给网页加上背景音乐及选择音效的方法
2015/03/03 Javascript
JS将滑动门改为选项卡(需鼠标点击)的实现方法
2015/09/27 Javascript
JavaScript中Window对象的属性及事件
2015/12/25 Javascript
javascript的replace方法结合正则使用实例总结
2016/06/16 Javascript
Angular.js中ng-if、ng-show和ng-hide的区别介绍
2017/01/20 Javascript
微信小程序 chooseImage选择图片或者拍照
2017/04/07 Javascript
node.js连接MongoDB数据库的2种方法教程
2017/05/17 Javascript
vue v-for 使用问题整理小结
2019/08/04 Javascript
浅谈vue3中effect与computed的亲密关系
2019/10/10 Javascript
vue实现购物车案例
2020/05/30 Javascript
Django小白教程之Django用户注册与登录
2016/04/22 Python
Python常见格式化字符串方法小结【百分号与format方法】
2016/09/18 Python
基于使用paramiko执行远程linux主机命令(详解)
2017/10/16 Python
Python在不同目录下导入模块的实现方法
2017/10/27 Python
django中静态文件配置static的方法
2018/05/20 Python
Python实现爬虫从网络上下载文档的实例代码
2018/06/13 Python
python批量修改图片后缀的方法(png到jpg)
2018/10/25 Python
利用Python正则表达式过滤敏感词的方法
2019/01/21 Python
Python3.8安装Pygame教程步骤详解
2020/08/14 Python
HTML高亮关键字的实现代码
2018/10/22 HTML / CSS
铭宣海淘转运:美国、日本、英国转运等全球转运公司
2019/09/10 全球购物
ECHT官方网站:男女健身服
2020/02/14 全球购物
预备党员政审材料
2014/02/04 职场文书
2014庆六一活动方案
2014/03/02 职场文书
2014教师年度思想工作总结
2014/11/10 职场文书
不会写演讲稿,快来看看这篇文章!
2019/08/06 职场文书