MySQL如何快速创建800w条测试数据表


Posted in MySQL onMarch 17, 2022

一、数据插入思路

如果一条一条插入普通表的话,效率太低下,但内存表插入速度是很快的,可以先建立一张内存表,插入数据后,在导入到普通表中。

1、创建内存表

 View Code

2、创建普通表

普通表参数设置和内存表相同,否则从内存表往普通标导入数据会报错。

 View Code

3、创建存储函数

产生伪随机码user_id 要用到存储函数。

 View Code

4、创建存储过程

存储过程是保存起来的可以接受和返回用户提供的参数的Transact-SQL 语句的集合,可以创建一个过程供永久使用。

 View Code

 5、调用存储过程

call 就是调用存储过程或者函数,这里调用存储过程1000000次

CALL add_vote_memory(1000000)

6、导入数据

将内存表中的数据导入普通表。

INSERT into vote_record SELECT * from vote_record_memory

7、内存不足

如果报错内存满了,报错信息如下:

 CALL add_vote_memory(1000000)
> 1114 - The table 'vote_record_memory' is full
 > 时间: 74.61s

则可以使用命令查看内存表和临时表允许写入的最大值:

show variables like '%%table_size%'

MySQL默认16M:

MySQL如何快速创建800w条测试数据表

 修改默认内存配置:

set session tmp_table_size=1024*1024*1024; 
set session max_heap_table_size=1024*1024*1024; 

配置修改后,再执行上述调用存储过程和数据导入步骤。

8、查看结果

查看记录,是否有插入100W条数据。

select count(*) AS total from vote_record

MySQL如何快速创建800w条测试数据表

9、插入800W条数据

测试插入800W条数据,call 调用存储过程800W次。

MySQL如何快速创建800w条测试数据表

 查看结果:

MySQL如何快速创建800w条测试数据表

 800W条测试数据插入OK,想插入多少条测试数据就调用n次存储过程,CALL add_vote_memory(n)。

二、MySQL深度分页

所谓的深度分页问题,涉及到mysql分页的原理。通常情况下,mysql的分页是这样写的:

select id, user_id, vote_id, group_id from vote_record limit 200, 10

SQL意思就是从vote_reccord 表里查200到210这10条数据即【201,210】,mysql会把前210条数据都查出来,抛弃前200条,返回10条。当分页所以深度不大的时候当然没问题,随着分页的深入,sql可能会变成这样:

select id, user_id, vote_id, group_id from vote_record limit 7999900, 10

这个时候,mysql会查出来7999920条数据,抛弃前7999900条,如此大的数据量,速度一定快不起来。

那如何解决呢?一般情况下,最简单的方式是增加一个条件,利用表的覆盖索引来加速分页查询:

select id, user_id, vote_id, group_id from vote_record where id > 7999900 limit 10

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。上述vote_record 表的id字段是主键,自然就包含了默认的主键索引,这样,mysql会走主键索引,直接连接到7999900处,然后查出来10条数据。但是这个方式需要接口的调用方配合改造,把上次查询出来的最大id以参数的方式传给接口提供方,会有一定沟通成本。

1、测试深度分页

优化前,查询耗时2.362s,随着数据的增大耗时会更多,limit语句的查询时间与起始记录的位置成正比。

MySQL如何快速创建800w条测试数据表

 优化后,耗时0.012s,性能提升了196.8倍。

MySQL如何快速创建800w条测试数据表

到此这篇关于MySQL如何快速创建800w条测试数据表的文章就介绍到这了,更多相关MySQL创建测试数据表内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL分库分表与分区的入门指南
Apr 22 MySQL
MySQL中存储时间的最佳实践指南
Jul 01 MySQL
MySQL 四种连接和多表查询详解
Jul 16 MySQL
全面盘点MySQL中的那些重要日志文件
Nov 27 MySQL
MySQL数据库查询进阶之多表查询详解
Apr 08 MySQL
在MySQL中你成功的避开了所有索引
Apr 20 MySQL
MySQL 执行数据库更新update操作的时候数据库卡死了
May 02 MySQL
MySQL查询日期时间
May 15 MySQL
Mysql索引失效 数据库表中有索引还是查询很慢
May 15 MySQL
MySQL导致索引失效的几种情况
Jun 25 MySQL
mysql全面解析json/数组
Jul 07 MySQL
Mysql中mvcc各场景理解应用
Aug 05 MySQL
利用JuiceFS使MySQL 备份验证性能提升 10 倍
MySQL 分区表中分区键为什么必须是主键的一部分
MySQL优化及索引解析
一条 SQL 语句执行过程
Mysql事务索引知识汇总
Mar 17 #MySQL
MySQL慢查询优化解决问题
Mar 17 #MySQL
MySQL日期时间函数知识汇总
You might like
php创建sprite
2014/02/11 PHP
Smarty中调用FCKeditor的方法
2014/10/27 PHP
PHP基于CURL进行POST数据上传实例
2014/11/10 PHP
php获取当月最后一天函数分享
2015/02/02 PHP
通过chrome浏览器控制台(Console)进行PHP Debug的方法
2016/10/19 PHP
PHP 命名空间和自动加载原理与用法实例分析
2020/04/29 PHP
js显示时间 js显示最后修改时间
2013/01/02 Javascript
javaScript让文本框内的最后一个文字的后面获得焦点实现代码
2013/01/06 Javascript
JQuery工具函数汇总
2015/06/15 Javascript
Bootstrap Paginator分页插件使用方法详解
2016/05/30 Javascript
JavaScript对象创建模式实例汇总
2016/10/03 Javascript
html、css和jquery相结合实现简单的进度条效果实例代码
2016/10/24 Javascript
AngularJS深入探讨scope,继承结构,事件系统和生命周期
2016/11/02 Javascript
JavaScript实现弹出广告功能
2017/03/30 Javascript
React通过父组件传递类名给子组件的实现方法
2017/11/13 Javascript
VUE 配置vue-devtools调试工具及安装方法
2018/09/30 Javascript
koa2实现登录注册功能的示例代码
2018/12/03 Javascript
微信小程序之事件交互操作实例分析
2018/12/03 Javascript
微信小程序wx.request的简单封装
2019/11/13 Javascript
关于Python中空格字符串处理的技巧总结
2017/08/10 Python
对Python3中的input函数详解
2018/04/22 Python
计算机二级python学习教程(1) 教大家如何学习python
2019/05/16 Python
Python 如何提高元组的可读性
2019/08/26 Python
PyTorch预训练的实现
2019/09/18 Python
tensorflow将图片保存为tfrecord和tfrecord的读取方式
2020/02/17 Python
Python参数传递机制传值和传引用原理详解
2020/05/22 Python
Michael Kors澳大利亚官网:世界知名的奢侈饰品和成衣设计师
2020/02/13 全球购物
后进生转化工作制度
2014/01/17 职场文书
元旦晚会感言
2014/03/12 职场文书
监督检查工作方案
2014/05/28 职场文书
单位考核聘任报告
2015/03/02 职场文书
2015年大学生社会实践评语
2015/03/26 职场文书
幼儿园教师工作总结2015
2015/04/02 职场文书
工作年限证明范本
2015/06/15 职场文书
新员工实习期个人工作总结
2015/10/15 职场文书
《圆的面积》教学反思
2016/02/19 职场文书