MySQL 隔离数据列和前缀索引的使用总结


Posted in MySQL onMay 14, 2021

隔离数据列

通常,我们会发现查询语句会妨碍MySQL使用索引。除非在查询语句中列是独立的,否则MySQL不会使用这些列的索引。“隔离”的意思是索引列不应该成为表达式的一部分或者在一个查询函数体中。例如下面的例子就不会命中actor_id这个索引。

SELECT `actor_id` FROM `actor` WHERE `actor_id` + 1 = 2;

对于人来说,很容易知道查询条件实际是actor_id = 4,但是MySQL不会这么处理,因此养成简化WHERE判决条件的习惯,这意味着索引列独立地在比较操作符的一侧。下面是另外一个普遍错误的案例:

SELECT ... WHERE TO_DAYS(CURRENT_DATE) - TO_DAYS(date_col) <= 10;

前缀索引和索引的选择性

有时候需要在很长字符的列上建立索引,但这样会导致索引占据的空间很大且查询变慢。一个策略是使用哈希索引模拟,但有时候这未必是足够好,这个时候该怎么做?

通常是可以将索引列前面的部分字符建立索引来替换全字段索引提高性能和节省空间。但这种方式会使得选择性变差。索引的选择性是指独立的索引值筛选出的数据占整个数据集合的比例。高选择性的索引可以让MySQL过滤掉更多无关的数据。例如,一个唯一索引的选择性是1。 列的前缀通常在选择性方面已经能够提供足够好的性能。如果使用BLOB或TEXT或非常长的VARCHAR字段列,你必须定义前缀索引,以为MySQL不允许做全长度索引。

你需要在使用更长的前缀以获得更好的选择性和足够短的前缀以节省存储空间之间平衡。为了确定一个合适的前缀长度,查找出最高频的值,然后和最频繁的前缀进行比较。例如以城市数据表为例,我们可以使用如下的语句统计:

SELECT COUNT(*) as cnt, `name` FROM `common_city` GROUP BY `name` ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这些城市名称出现的次数比较多。现在我们可以使用1个字的前缀查找最为频繁的城市名称前缀。

SELECT COUNT(*) as cnt, LEFT(`name`, 1) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到1个字找出来的数据集更多了,这会导致独立选中的机会越少,因此需要调整一下前缀的长度。例如调到3个字。

SELECT COUNT(*) as cnt, LEFT(`name`, 3) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这和全长度的相差不多,那实际三个字的前缀就够了(原文使用的是英文城市数据表,字符会更多)。另外一种方式是使用不同长度的前缀数量与全字段数量的比例评估多少合适。例如:

SELECT 
  COUNT(DISTINCT LEFT(`name`, 1)) / COUNT(`name`) as pref1, 
  COUNT(DISTINCT LEFT(`name`, 2)) / COUNT(`name`) as pref2, 
  COUNT(DISTINCT LEFT(`name`, 3)) / COUNT(`name`) as pref3, 
  COUNT(DISTINCT LEFT(`name`, 4)) / COUNT(`name`) as pref4 
FROM `common_city`

MySQL 隔离数据列和前缀索引的使用总结

数值越接近于1效果越好,但是也可以看到,随着前缀长度的加长改善的空间越小。只看平均值并不是一个好主意,还需要检查一下最坏情况。也许会觉得3-4个字足够了,但是如果数据分布很不均匀,那可能会存在陷阱。因此还需要检查一下前缀少的是不是存在一个前缀对应的数据与其他相比极其多的情况。最后可以给指定的列加前缀索引。

ALTER TABLE `common_city` ADD KEY (name(3));

前缀索引在节省空间和提高效率方面表现不错,但是也有缺陷,那就是在ORDER BY和GROUP BY上无法使用索引(实际验证在MySQL 5.7以上版本也有用)。另外一种常见的场景是在较长的十六进制字符串中,例如存储的sessionId,取前8位前缀做索引将过滤很多无关数据,效果很好。

以上就是MySQL 隔离数据列和前缀索引的使用总结的详细内容,更多关于MySQL 隔离数据列和前缀索引的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL 角色(role)功能介绍
Apr 24 MySQL
Mysql 用户权限管理实现
May 25 MySQL
MySQL中distinct与group by之间的性能进行比较
May 26 MySQL
MySQL库表名大小写的选择
Jun 05 MySQL
MySQL Server层四个日志的实现
Mar 31 MySQL
排查并解决MySQL生产库内存使用率高的报警
Apr 11 MySQL
深入理解mysql事务隔离级别和存储引擎
Apr 12 MySQL
MySQL 条件查询的常用操作
Apr 28 MySQL
MYSQL常用函数介绍
May 05 MySQL
MySQL 自动填充 create_time 和 update_time
May 20 MySQL
MySQL远程无法连接的一些常见原因总结
Sep 23 MySQL
Mysql如何查看是否使用到索引
Dec 24 MySQL
MySQL 使用自定义变量进行查询优化
May 14 #MySQL
MySQL 逻辑备份与恢复测试的相关总结
May 14 #MySQL
MySQL 可扩展设计的基本原则
May 14 #MySQL
MySQL主从搭建(多主一从)的实现思路与步骤
May 13 #MySQL
MySQL如何构建数据表索引
May 13 #MySQL
MySQL 自定义变量的概念及特点
May 13 #MySQL
为什么mysql字段要使用NOT NULL
You might like
PHP5 安装方法
2007/01/15 PHP
学习php设计模式 php实现享元模式(flyweight)
2015/12/07 PHP
Yii2 GridView实现列表页直接修改数据的方法
2016/05/16 PHP
[JS源码]超长文章自动分页(客户端版)
2007/01/09 Javascript
AJAX的跨域与JSONP(为文章自动添加短址的功能)
2010/01/17 Javascript
避免 showModalDialog 弹出新窗体的原因分析
2010/05/31 Javascript
判断用户的在线状态 onbeforeunload事件
2011/03/05 Javascript
JQuery+DIV自定义滚动条样式的具体实现
2013/06/25 Javascript
jquery.form.js实现将form提交转为ajax方式提交的方法
2015/04/07 Javascript
关于微信中a链接无法跳转问题
2016/08/02 Javascript
js捕捉键盘事件和按键键值的方法
2016/10/10 Javascript
JavaScript基础心法 数据类型
2018/03/05 Javascript
vue--点击当前增加class,其他删除class的方法
2018/09/15 Javascript
Vue组件之高德地图地址选择功能的实例代码
2019/06/21 Javascript
使用React-Router实现前端路由鉴权的示例代码
2020/07/26 Javascript
js实现可爱的气泡特效
2020/09/05 Javascript
[16:56]教你分分钟做大人:司夜刺客
2014/10/30 DOTA
python实现无证书加密解密实例
2014/10/27 Python
Python基础篇之初识Python必看攻略
2016/06/23 Python
python使用Apriori算法进行关联性解析
2017/12/21 Python
使用Python画出小人发射爱心的代码
2019/11/23 Python
python GUI库图形界面开发之PyQt5 Qt Designer工具(Qt设计师)详细使用方法及Designer ui文件转py文件方法
2020/02/26 Python
python随机模块random的22种函数(小结)
2020/05/15 Python
什么是Linux虚拟文件系统VFS
2015/08/25 面试题
视光学毕业生自荐书范文
2014/02/13 职场文书
计算机软件专业求职信
2014/06/10 职场文书
教育局党的群众路线教育实践活动整改方案
2014/09/20 职场文书
项目合作协议书
2014/09/23 职场文书
公民授权委托书
2014/10/15 职场文书
客服专员岗位职责范本
2015/04/07 职场文书
教学副校长工作总结
2015/08/13 职场文书
解决Django transaction进行事务管理踩过的坑
2021/04/24 Python
详解Python中的进程和线程
2021/06/23 Python
Python实现学生管理系统(面向对象版)
2021/06/24 Python
python获取对象信息的实例详解
2021/07/07 Python