MySQL分区表实现按月份归类


Posted in MySQL onNovember 01, 2021

MySQL单表数据量,建议不要超过2000W行,否则会对性能有较大影响。最近接手了一个项目,单表数据超7000W行,一条简单的查询语句等了50多分钟都没出结果,实在是难受,最终,我们决定用分区表。

建表

一般的表(innodb)创建后只有一个 idb 文件:

create table normal_table(id int primary key, no int)

查看数据库文件:

normal_table.ibd

创建按月份分区的分区表,注意!除了常规主键外,月份字段(用来分区的字段)也必须是主键:

create table partition_table(id int AUTO_INCREMENT, create_date date, name varchar(10), 
primary key(id, create_date)) ENGINE=INNODB DEFAULT CHARSET=utf8 
partition by range(month(create_date))(
partition quarter1 values less than(4),
partition quarter2 values less than(7),
partition quarter3 values less than(10),
partition quarter4 values less than(13)
);

查看数据库文件:

partition_table#p#quarter1.ibd  
partition_table#p#quarter2.ibd  
partition_table#p#quarter3.ibd  
partition_table#p#quarter4.ibd

插入

insert into partition_table(create_date, name) values("2021-01-25", "tom1");
insert into partition_table(create_date, name) values("2021-02-25", "tom2");
insert into partition_table(create_date, name) values("2021-03-25", "tom3");
insert into partition_table(create_date, name) values("2021-04-25", "tom4");
insert into partition_table(create_date, name) values("2021-05-25", "tom5");
insert into partition_table(create_date, name) values("2021-06-25", "tom6");
insert into partition_table(create_date, name) values("2021-07-25", "tom7");
insert into partition_table(create_date, name) values("2021-08-25", "tom8");
insert into partition_table(create_date, name) values("2021-09-25", "tom9");
insert into partition_table(create_date, name) values("2021-10-25", "tom10");
insert into partition_table(create_date, name) values("2021-11-25", "tom11");
insert into partition_table(create_date, name) values("2021-12-25", "tom12");

查询

select count(*) from partition_table;
> 12

 
查询第二个分区(第二季度)的数据:
select * from partition_table PARTITION(quarter2);

4 2021-04-25 tom4
5 2021-05-25 tom5
6 2021-06-25 tom6

删除

当删除表时,该表的所有分区文件都会被删除

补充:Mysql自动按月表分区

核心的两个存储过程:

  • auto_create_partition为创建表分区,调用后为该表创建到下月结束的表分区。
  • auto_del_partition为删除表分区,方便历史数据空间回收。
DELIMITER $$
DROP PROCEDURE IF EXISTS auto_create_partition$$
CREATE PROCEDURE `auto_create_partition`(IN `table_name` varchar(64))
BEGIN
   SET @next_month:=CONCAT(date_format(date_add(now(),interval 2 month),'%Y%m'),'01');
   SET @SQL = CONCAT( 'ALTER TABLE `', table_name, '`',
     ' ADD PARTITION (PARTITION p', @next_month, " VALUES LESS THAN (TO_DAYS(",
       @next_month ,")) );" );
   PREPARE STMT FROM @SQL;
   EXECUTE STMT;
   DEALLOCATE PREPARE STMT;
END$$

DROP PROCEDURE IF EXISTS auto_del_partition$$
CREATE PROCEDURE `auto_del_partition`(IN `table_name` varchar(64),IN `reserved_month` int)
BEGIN
 DECLARE v_finished INTEGER DEFAULT 0;
 DECLARE v_part_name varchar(100) DEFAULT "";
 DECLARE part_cursor CURSOR FOR 
  select partition_name from information_schema.partitions where table_schema = schema()
   and table_name=@table_name and partition_description < TO_DAYS(CONCAT(date_format(date_sub(now(),interval reserved_month month),'%Y%m'),'01'));
 DECLARE continue handler FOR 
  NOT FOUND SET v_finished = TRUE;
 OPEN part_cursor;
read_loop: LOOP
 FETCH part_cursor INTO v_part_name;
 if v_finished = 1 then
  leave read_loop;
 end if;
 SET @SQL = CONCAT( 'ALTER TABLE `', table_name, '` DROP PARTITION ', v_part_name, ";" );
 PREPARE STMT FROM @SQL;
 EXECUTE STMT;
 DEALLOCATE PREPARE STMT;
 END LOOP;
 CLOSE part_cursor;
END$$

DELIMITER ;

下面是示例

-- 假设有个表叫records,设置分区条件为按end_time按月分区
DROP TABLE IF EXISTS `records`;
CREATE TABLE `records` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `start_time` datetime NOT NULL,
  `end_time` datetime NOT NULL,
  `memo` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  PRIMARY KEY (`id`,`end_time`)
) 
PARTITION BY RANGE (TO_DAYS(end_time))(
 PARTITION p20200801 VALUES LESS THAN ( TO_DAYS('20200801'))
);

DROP EVENT IF EXISTS `records_auto_partition`;

-- 创建一个Event,每月执行一次,同时最多保存6个月的数据
DELIMITER $$
CREATE EVENT `records_auto_partition`
ON SCHEDULE EVERY 1 MONTH ON COMPLETION PRESERVE
ENABLE
DO
BEGIN
call auto_create_partition('records');
call auto_del_partition('records',6);
END$$
DELIMITER ;

几点注意事项:

  • 对于Mysql 5.1以上版本来说,表分区的索引字段必须是主键
  • 存储过程中,DECLARE 必须紧跟着BEGIN,否则会报看不懂的错误
  • 游标的DECLARE需要在定义声明之后,否则会报错
  • 如果是自己安装的Mysql,有可能Event功能是未开启的,在创建Event时会提示错误;修改my.cnf,在 [mysqld] 下添加event_scheduler=1后重启即可。

到此这篇关于MySQL分区表实现按月份归类的文章就介绍到这了,更多相关mysql按月表分区内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL学习总结-基础架构概述
Apr 05 MySQL
MySQL 慢查询日志深入理解
Apr 22 MySQL
浅谈Mysql多表连接查询的执行细节
Apr 24 MySQL
详解MySQL主从复制及读写分离
May 07 MySQL
MySQL 使用自定义变量进行查询优化
May 14 MySQL
详解mysql三值逻辑与NULL
May 19 MySQL
详细谈谈MYSQL中的COLLATE是什么
Jun 11 MySQL
低版本Druid连接池+MySQL驱动8.0导致线程阻塞、性能受限
Jul 01 MySQL
MySQL插入数据与查询数据
Mar 25 MySQL
MySQ InnoDB和MyISAM存储引擎介绍
Apr 26 MySQL
关于mysql中string和number的转换问题
Jun 14 MySQL
MySQL中的 inner join 和 left join的区别解析(小结果集驱动大结果集)
May 08 MySQL
MySQL数据库10秒内插入百万条数据的实现
MySQL面试题讲解之如何设置Hash索引
MySQL对数据表已有表进行分区表的实现
Nov 01 #MySQL
mysql分表之后如何平滑上线详解
Nov 01 #MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
mysql事务对效率的影响分析总结
Oct 24 #MySQL
You might like
解析PHP中$_FILES的使用以及注意事项
2013/07/05 PHP
PHP 线程安全与非线程安全版本的区别深入解析
2013/08/06 PHP
ThinkPHP模板中数组循环实例
2014/10/30 PHP
php获取'/'传参的值简单方法
2017/07/13 PHP
在php的yii2框架中整合hbase库的方法
2018/09/20 PHP
浅谈laravel5.5 belongsToMany自身的正确用法
2019/10/17 PHP
javascript编程起步(第四课)
2007/02/27 Javascript
js 单引号 传递方法
2009/06/22 Javascript
Javascript实现的鼠标经过时播放声音
2010/05/18 Javascript
5秒后跳转效果(setInterval/SetTimeOut)
2013/05/03 Javascript
js同源策略详解
2015/05/21 Javascript
JQuery实现简单的图片滑动切换特效
2015/11/22 Javascript
jQuery限制图片大小的方法
2016/05/25 Javascript
Vue-resource实现ajax请求和跨域请求示例
2017/02/23 Javascript
微信小程序上滑加载下拉刷新(onscrollLower)分批加载数据(一)
2017/05/11 Javascript
Validform验证时可以为空否则按照指定格式验证
2017/10/20 Javascript
浅谈vue异步数据影响页面渲染
2019/10/29 Javascript
[00:56]2014DOTA2国际邀请赛 DK、iG 赛前探访
2014/07/10 DOTA
[50:02]完美世界DOTA2联赛循环赛 Magma vs IO BO2第一场 11.01
2020/11/02 DOTA
Python struct模块解析
2014/06/12 Python
Python与shell的3种交互方式介绍
2015/04/11 Python
python 设置文件编码格式的实现方法
2017/12/21 Python
Python学生成绩管理系统简洁版
2020/04/05 Python
Ubuntu下使用Python实现游戏制作中的切分图片功能
2018/03/30 Python
Python 中的Selenium异常处理实例代码
2018/05/03 Python
python3.5绘制随机漫步图
2018/08/27 Python
Python列表元素常见操作简单示例
2019/10/25 Python
Python装饰器实现方法及应用场景详解
2020/03/26 Python
基于pycharm实现批量修改变量名
2020/06/02 Python
如何在Python3中使用telnetlib模块连接网络设备
2020/09/21 Python
网络工程师专家职业发展路线
2014/02/14 职场文书
2014年测量员工作总结
2014/12/12 职场文书
孔子观后感
2015/06/08 职场文书
清明扫墓感想
2015/08/11 职场文书
详解Vue的列表渲染
2021/11/20 Vue.js
python和C/C++混合编程之使用ctypes调用 C/C++的dll
2022/04/29 Python