MySQL分区表实现按月份归类


Posted in MySQL onNovember 01, 2021

MySQL单表数据量,建议不要超过2000W行,否则会对性能有较大影响。最近接手了一个项目,单表数据超7000W行,一条简单的查询语句等了50多分钟都没出结果,实在是难受,最终,我们决定用分区表。

建表

一般的表(innodb)创建后只有一个 idb 文件:

create table normal_table(id int primary key, no int)

查看数据库文件:

normal_table.ibd

创建按月份分区的分区表,注意!除了常规主键外,月份字段(用来分区的字段)也必须是主键:

create table partition_table(id int AUTO_INCREMENT, create_date date, name varchar(10), 
primary key(id, create_date)) ENGINE=INNODB DEFAULT CHARSET=utf8 
partition by range(month(create_date))(
partition quarter1 values less than(4),
partition quarter2 values less than(7),
partition quarter3 values less than(10),
partition quarter4 values less than(13)
);

查看数据库文件:

partition_table#p#quarter1.ibd  
partition_table#p#quarter2.ibd  
partition_table#p#quarter3.ibd  
partition_table#p#quarter4.ibd

插入

insert into partition_table(create_date, name) values("2021-01-25", "tom1");
insert into partition_table(create_date, name) values("2021-02-25", "tom2");
insert into partition_table(create_date, name) values("2021-03-25", "tom3");
insert into partition_table(create_date, name) values("2021-04-25", "tom4");
insert into partition_table(create_date, name) values("2021-05-25", "tom5");
insert into partition_table(create_date, name) values("2021-06-25", "tom6");
insert into partition_table(create_date, name) values("2021-07-25", "tom7");
insert into partition_table(create_date, name) values("2021-08-25", "tom8");
insert into partition_table(create_date, name) values("2021-09-25", "tom9");
insert into partition_table(create_date, name) values("2021-10-25", "tom10");
insert into partition_table(create_date, name) values("2021-11-25", "tom11");
insert into partition_table(create_date, name) values("2021-12-25", "tom12");

查询

select count(*) from partition_table;
> 12

 
查询第二个分区(第二季度)的数据:
select * from partition_table PARTITION(quarter2);

4 2021-04-25 tom4
5 2021-05-25 tom5
6 2021-06-25 tom6

删除

当删除表时,该表的所有分区文件都会被删除

补充:Mysql自动按月表分区

核心的两个存储过程:

  • auto_create_partition为创建表分区,调用后为该表创建到下月结束的表分区。
  • auto_del_partition为删除表分区,方便历史数据空间回收。
DELIMITER $$
DROP PROCEDURE IF EXISTS auto_create_partition$$
CREATE PROCEDURE `auto_create_partition`(IN `table_name` varchar(64))
BEGIN
   SET @next_month:=CONCAT(date_format(date_add(now(),interval 2 month),'%Y%m'),'01');
   SET @SQL = CONCAT( 'ALTER TABLE `', table_name, '`',
     ' ADD PARTITION (PARTITION p', @next_month, " VALUES LESS THAN (TO_DAYS(",
       @next_month ,")) );" );
   PREPARE STMT FROM @SQL;
   EXECUTE STMT;
   DEALLOCATE PREPARE STMT;
END$$

DROP PROCEDURE IF EXISTS auto_del_partition$$
CREATE PROCEDURE `auto_del_partition`(IN `table_name` varchar(64),IN `reserved_month` int)
BEGIN
 DECLARE v_finished INTEGER DEFAULT 0;
 DECLARE v_part_name varchar(100) DEFAULT "";
 DECLARE part_cursor CURSOR FOR 
  select partition_name from information_schema.partitions where table_schema = schema()
   and table_name=@table_name and partition_description < TO_DAYS(CONCAT(date_format(date_sub(now(),interval reserved_month month),'%Y%m'),'01'));
 DECLARE continue handler FOR 
  NOT FOUND SET v_finished = TRUE;
 OPEN part_cursor;
read_loop: LOOP
 FETCH part_cursor INTO v_part_name;
 if v_finished = 1 then
  leave read_loop;
 end if;
 SET @SQL = CONCAT( 'ALTER TABLE `', table_name, '` DROP PARTITION ', v_part_name, ";" );
 PREPARE STMT FROM @SQL;
 EXECUTE STMT;
 DEALLOCATE PREPARE STMT;
 END LOOP;
 CLOSE part_cursor;
END$$

DELIMITER ;

下面是示例

-- 假设有个表叫records,设置分区条件为按end_time按月分区
DROP TABLE IF EXISTS `records`;
CREATE TABLE `records` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `start_time` datetime NOT NULL,
  `end_time` datetime NOT NULL,
  `memo` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  PRIMARY KEY (`id`,`end_time`)
) 
PARTITION BY RANGE (TO_DAYS(end_time))(
 PARTITION p20200801 VALUES LESS THAN ( TO_DAYS('20200801'))
);

DROP EVENT IF EXISTS `records_auto_partition`;

-- 创建一个Event,每月执行一次,同时最多保存6个月的数据
DELIMITER $$
CREATE EVENT `records_auto_partition`
ON SCHEDULE EVERY 1 MONTH ON COMPLETION PRESERVE
ENABLE
DO
BEGIN
call auto_create_partition('records');
call auto_del_partition('records',6);
END$$
DELIMITER ;

几点注意事项:

  • 对于Mysql 5.1以上版本来说,表分区的索引字段必须是主键
  • 存储过程中,DECLARE 必须紧跟着BEGIN,否则会报看不懂的错误
  • 游标的DECLARE需要在定义声明之后,否则会报错
  • 如果是自己安装的Mysql,有可能Event功能是未开启的,在创建Event时会提示错误;修改my.cnf,在 [mysqld] 下添加event_scheduler=1后重启即可。

到此这篇关于MySQL分区表实现按月份归类的文章就介绍到这了,更多相关mysql按月表分区内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL时间设置注意事项的深入总结
May 06 MySQL
新手必备之MySQL msi版本下载安装图文详细教程
May 21 MySQL
mysql外连接与内连接查询的不同之处
Jun 03 MySQL
一篇文章带你深入了解Mysql触发器
Aug 02 MySQL
MySQL令人大跌眼镜的隐式转换
Aug 23 MySQL
MySQL into_Mysql中replace与replace into用法案例详解
Sep 14 MySQL
MySQL数据库10秒内插入百万条数据的实现
Nov 01 MySQL
MySQL中B树索引和B+树索引的区别详解
Mar 03 MySQL
mysql查询结果实现多列拼接查询
Apr 03 MySQL
MySql重置root密码 --skip-grant-tables
Apr 11 MySQL
MySQL分布式恢复进阶
Jul 23 MySQL
SQL中去除重复数据的几种方法汇总(窗口函数对数据去重)
May 08 MySQL
MySQL数据库10秒内插入百万条数据的实现
MySQL面试题讲解之如何设置Hash索引
MySQL对数据表已有表进行分区表的实现
Nov 01 #MySQL
mysql分表之后如何平滑上线详解
Nov 01 #MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
mysql事务对效率的影响分析总结
Oct 24 #MySQL
You might like
介绍php设计模式中的工厂模式
2008/06/12 PHP
Eclipse的PHP插件PHPEclipse安装和使用
2014/07/20 PHP
fsockopen pfsockopen函数被禁用,SMTP发送邮件不正常的解决方法
2015/09/20 PHP
PHP中Laravel 关联查询返回错误id的解决方法
2017/04/01 PHP
PHP实现统计所有字符在字符串中出现次数的方法
2017/10/17 PHP
PHP流Streams、包装器wrapper概念与用法实例详解
2017/11/17 PHP
in.js 一个轻量级的JavaScript颗粒化模块加载和依赖关系管理解决方案
2011/07/26 Javascript
js中传递特殊字符(+,&amp;)的方法
2014/01/16 Javascript
jQuery-ui引入后Vs2008的无智能提示问题解决方法
2014/02/10 Javascript
jQuery的事件委托实例分析
2015/07/15 Javascript
基于jQuery通过jQuery.form.js插件使用ajax提交form表单
2015/08/17 Javascript
深入分析jsonp协议原理
2015/09/26 Javascript
Bootstrap基本插件学习笔记之折叠(22)
2016/12/08 Javascript
Bootstrap Table使用整理(三)
2017/06/09 Javascript
jQuery序列化后的表单值转换成Json
2017/06/16 jQuery
Vue+axios实现统一接口管理的方法
2018/07/23 Javascript
bootstrap datepicker的基本使用教程
2019/07/09 Javascript
JavaScript如何处理移动端拍摄图片旋转问题
2019/11/16 Javascript
JavaScript代理模式原理与用法实例详解
2020/03/10 Javascript
js通过canvas生成图片缩略图
2020/10/02 Javascript
Python中使用第三方库xlrd来读取Excel示例
2015/04/05 Python
Python3解决棋盘覆盖问题的方法示例
2017/12/07 Python
对pandas中apply函数的用法详解
2018/04/10 Python
Python numpy实现二维数组和一维数组拼接的方法
2018/06/05 Python
python爬虫之自动登录与验证码识别
2020/06/15 Python
python 将list转成字符串,中间用符号分隔的方法
2018/10/23 Python
Python神奇的内置函数locals的实例讲解
2019/02/22 Python
简单了解python调用其他脚本方法实例
2020/03/26 Python
win10安装python3.6的常见问题
2020/07/01 Python
Python 实现集合Set的示例
2020/12/21 Python
突袭HTML5之Javascript API扩展3—本地存储全新体验
2013/01/31 HTML / CSS
高中生自我评价个人范文
2013/11/09 职场文书
住宅使用说明书
2014/05/09 职场文书
公司建议书怎么写
2014/05/15 职场文书
退休教师欢送会致辞
2015/07/31 职场文书
Java中try catch处理异常示例
2021/12/06 Java/Android