MySQL如何快速创建800w条测试数据表


Posted in MySQL onMarch 17, 2022

一、数据插入思路

如果一条一条插入普通表的话,效率太低下,但内存表插入速度是很快的,可以先建立一张内存表,插入数据后,在导入到普通表中。

1、创建内存表

 View Code

2、创建普通表

普通表参数设置和内存表相同,否则从内存表往普通标导入数据会报错。

 View Code

3、创建存储函数

产生伪随机码user_id 要用到存储函数。

 View Code

4、创建存储过程

存储过程是保存起来的可以接受和返回用户提供的参数的Transact-SQL 语句的集合,可以创建一个过程供永久使用。

 View Code

 5、调用存储过程

call 就是调用存储过程或者函数,这里调用存储过程1000000次

CALL add_vote_memory(1000000)

6、导入数据

将内存表中的数据导入普通表。

INSERT into vote_record SELECT * from vote_record_memory

7、内存不足

如果报错内存满了,报错信息如下:

 CALL add_vote_memory(1000000)
> 1114 - The table 'vote_record_memory' is full
 > 时间: 74.61s

则可以使用命令查看内存表和临时表允许写入的最大值:

show variables like '%%table_size%'

MySQL默认16M:

MySQL如何快速创建800w条测试数据表

 修改默认内存配置:

set session tmp_table_size=1024*1024*1024; 
set session max_heap_table_size=1024*1024*1024; 

配置修改后,再执行上述调用存储过程和数据导入步骤。

8、查看结果

查看记录,是否有插入100W条数据。

select count(*) AS total from vote_record

MySQL如何快速创建800w条测试数据表

9、插入800W条数据

测试插入800W条数据,call 调用存储过程800W次。

MySQL如何快速创建800w条测试数据表

 查看结果:

MySQL如何快速创建800w条测试数据表

 800W条测试数据插入OK,想插入多少条测试数据就调用n次存储过程,CALL add_vote_memory(n)。

二、MySQL深度分页

所谓的深度分页问题,涉及到mysql分页的原理。通常情况下,mysql的分页是这样写的:

select id, user_id, vote_id, group_id from vote_record limit 200, 10

SQL意思就是从vote_reccord 表里查200到210这10条数据即【201,210】,mysql会把前210条数据都查出来,抛弃前200条,返回10条。当分页所以深度不大的时候当然没问题,随着分页的深入,sql可能会变成这样:

select id, user_id, vote_id, group_id from vote_record limit 7999900, 10

这个时候,mysql会查出来7999920条数据,抛弃前7999900条,如此大的数据量,速度一定快不起来。

那如何解决呢?一般情况下,最简单的方式是增加一个条件,利用表的覆盖索引来加速分页查询:

select id, user_id, vote_id, group_id from vote_record where id > 7999900 limit 10

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。上述vote_record 表的id字段是主键,自然就包含了默认的主键索引,这样,mysql会走主键索引,直接连接到7999900处,然后查出来10条数据。但是这个方式需要接口的调用方配合改造,把上次查询出来的最大id以参数的方式传给接口提供方,会有一定沟通成本。

1、测试深度分页

优化前,查询耗时2.362s,随着数据的增大耗时会更多,limit语句的查询时间与起始记录的位置成正比。

MySQL如何快速创建800w条测试数据表

 优化后,耗时0.012s,性能提升了196.8倍。

MySQL如何快速创建800w条测试数据表

到此这篇关于MySQL如何快速创建800w条测试数据表的文章就介绍到这了,更多相关MySQL创建测试数据表内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL时间盲注的五种延时方法实现
May 18 MySQL
MySQL如何使用使用Xtrabackup进行备份和恢复
Jun 21 MySQL
解决Mysql的left join无效及使用的注意事项说明
Jul 01 MySQL
一条 SQL 语句执行过程
Mar 17 MySQL
MySQL实战记录之如何快速定位慢SQL
Mar 23 MySQL
Mysql超详细讲解死锁问题的理解
Apr 01 MySQL
Mysql开启外网访问
May 15 MySQL
SQL语句中EXISTS的详细用法大全
Jun 25 MySQL
mysql查看表结构的三种方法总结
Jul 07 MySQL
MySQL 原理优化之Group By的优化技巧
Aug 14 MySQL
mysql数据库如何转移到oracle
Dec 24 MySQL
SQL中去除重复数据的几种方法汇总(窗口函数对数据去重)
May 08 MySQL
利用JuiceFS使MySQL 备份验证性能提升 10 倍
MySQL 分区表中分区键为什么必须是主键的一部分
MySQL优化及索引解析
一条 SQL 语句执行过程
Mysql事务索引知识汇总
Mar 17 #MySQL
MySQL慢查询优化解决问题
Mar 17 #MySQL
MySQL日期时间函数知识汇总
You might like
转换中文日期的PHP程序
2006/10/09 PHP
FleaPHP的安全设置方法
2008/09/15 PHP
flash用php连接数据库的代码
2011/04/21 PHP
关于shopex同步ucenter的redirect问题,导致script不运行
2013/04/10 PHP
Thinkphp单字母函数使用指南
2016/05/08 PHP
基于PHP生成简单的验证码
2016/06/01 PHP
如何利用预加载优化Laravel Model查询详解
2017/08/11 PHP
PHP 裁剪图片
2021/03/09 PHP
js中将字符串转换成json的三种方式
2011/01/12 Javascript
IE图片缓存document.execCommand("BackgroundImageCache",false,true)
2011/03/01 Javascript
Javascript中的this绑定介绍
2011/09/22 Javascript
jquery让返回的内容显示在特定div里(代码少而精悍)
2014/06/23 Javascript
javascript控制层显示或隐藏的方法
2015/07/22 Javascript
JavaScript实现分页效果
2017/03/28 Javascript
详解webpack babel的配置
2018/01/09 Javascript
在Vue中使用icon 字体图标的方法
2019/06/14 Javascript
微信小程序自定义组件components(代码详解)
2019/10/21 Javascript
Python程序语言快速上手教程
2012/07/18 Python
Flask框架的学习指南之开发环境搭建
2016/11/20 Python
pandas将numpy数组写入到csv的实例
2018/07/04 Python
python 读取Linux服务器上的文件方法
2018/12/27 Python
pyqt5 从本地选择图片 并显示在label上的实例
2019/06/13 Python
浅谈Python中(&,|)和(and,or)之间的区别
2019/08/07 Python
django drf框架中的user验证以及JWT拓展的介绍
2019/08/12 Python
如何基于Python制作有道翻译小工具
2019/12/16 Python
Python实现文件压缩和解压的示例代码
2020/08/12 Python
CSS3 clip-path 用法介绍详解
2018/03/01 HTML / CSS
欧洲著名的珠宝和手表网上商城:uhrcenter
2017/04/10 全球购物
台湾SHOPRO购物行家:亚洲首创影视.3C.家电.优质购物平台
2018/05/07 全球购物
Booking.com缤客中国:全球酒店在线预订网站
2020/05/03 全球购物
《望洞庭》教学反思
2014/02/16 职场文书
大家访活动实施方案
2014/03/10 职场文书
住宿生擅自离校检讨书
2014/09/22 职场文书
贫困证明书格式及范文
2014/10/15 职场文书
幼师自荐信范文
2015/03/06 职场文书
一次项目中Thinkphp绕过禁用函数的实战记录
2021/11/17 PHP