十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
我们知道,当一条sql查询语句执行时,会通过服务层中的优化器生成“查询执行计划”。而使用explain关键字可以查询到执行的SQL查询语句,从而知道MySQL是如何处理SQL的,即SQL的执行计划。因此根据执行计划我们可以选择更好的索引和写出更优化的查询语句,分析我们的查询语句或是表结构的性能瓶颈。
10年的朗县网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。成都营销网站建设的优势是能够根据用户设备显示端的尺寸不同,自动调整朗县建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联建站从事“朗县网站设计”,“朗县网站推广”以来,每个客户项目都认真落实执行。
首先先解释一下以上执行计划中各列的含义:
2. PRIMARY: 如果查询语句中包含子查询或者UNION操作,指最外层的SELECT;
3. UNION: UNION中的第二个或后面的SELECT语句;
4. UNION RESULT: UNION 的结果;
5. SUBQUERY: 子查询中的第一个SELECT;
6. DERIVED: 导出表的SELECT(FROM子句的子查询)。
下面介绍在实际开发过程中,常见的几种类型:
1. const: 表示通过索引一次就找到数据,用于比较primary key或者unique索引,很快就能找到对应的数据;
2. eq_ref: 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配,常用于主键或唯一索引扫描;
3. ref: 非唯一索引扫描,返回匹配的所有行;
4. index_merge: 经常出现在使用一张表中的多个索引时,mysql会将多个索引合并在一起;
5. range: 使用一个索引检索指定范围的行,一般在where语句中会出现between、、、in等范围查询;
6. index: index连接类型与ALL相同,只是遍历索引树;
7. ALL: 全表扫描,找到匹配行。与index比较,ALL需要扫描磁盘数据,index值需要遍历索引树。
误区:
上述图片可以看到,key_len的值为9(即hotelID(4)+dateTime(5)),没有使用到全部联合索引,以下是改良后的sql语句:
此时key_len的值为14(即hotelID(4)+dateTime(5)+dateTime(5)),使用到了key中所有索引。
优化前:
很显然,从explain执行计划中可以看到,该sql语句使用了两个索引,但是从我们自己的优化目标中,只需要使用IDX_DataChange_CreateTime这一个索引就够了,以下是我们通过一些小手段影响优化器得到的优化方案:
在开始演示之前,我们先介绍下两个概念。
概念一,数据的可选择性基数,也就是常说的cardinality值。
查询优化器在生成各种执行计划之前,得先从统计信息中取得相关数据,这样才能估算每步操作所涉及到的记录数,而这个相关数据就是cardinality。简单来说,就是每个值在每个字段中的唯一值分布状态。
比如表t1有100行记录,其中一列为f1。f1中唯一值的个数可以是100个,也可以是1个,当然也可以是1到100之间的任何一个数字。这里唯一值越的多少,就是这个列的可选择基数。
那看到这里我们就明白了,为什么要在基数高的字段上建立索引,而基数低的的字段建立索引反而没有全表扫描来的快。当然这个只是一方面,至于更深入的探讨就不在我这篇探讨的范围了。
概念二,关于HINT的使用。
这里我来说下HINT是什么,在什么时候用。
HINT简单来说就是在某些特定的场景下人工协助MySQL优化器的工作,使她生成最优的执行计划。一般来说,优化器的执行计划都是最优化的,不过在某些特定场景下,执行计划可能不是最优化。
比如:表t1经过大量的频繁更新操作,(UPDATE,DELETE,INSERT),cardinality已经很不准确了,这时候刚好执行了一条SQL,那么有可能这条SQL的执行计划就不是最优的。为什么说有可能呢?
来看下具体演示
譬如,以下两条SQL,
A:
select * from t1 where f1 = 20;
B:
select * from t1 where f1 = 30;
如果f1的值刚好频繁更新的值为30,并且没有达到MySQL自动更新cardinality值的临界值或者说用户设置了手动更新又或者用户减少了sample page等等,那么对这两条语句来说,可能不准确的就是B了。
这里顺带说下,MySQL提供了自动更新和手动更新表cardinality值的方法,因篇幅有限,需要的可以查阅手册。
那回到正题上,MySQL 8.0 带来了几个HINT,我今天就举个index_merge的例子。
示例表结构:
mysql desc t1;+------------+--------------+------+-----+---------+----------------+| Field | Type | Null | Key | Default | Extra |+------------+--------------+------+-----+---------+----------------+| id | int(11) | NO | PRI | NULL | auto_increment || rank1 | int(11) | YES | MUL | NULL | || rank2 | int(11) | YES | MUL | NULL | || log_time | datetime | YES | MUL | NULL | || prefix_uid | varchar(100) | YES | | NULL | || desc1 | text | YES | | NULL | || rank3 | int(11) | YES | MUL | NULL | |+------------+--------------+------+-----+---------+----------------+7 rows in set (0.00 sec)
表记录数:
mysql select count(*) from t1;+----------+| count(*) |+----------+| 32768 |+----------+1 row in set (0.01 sec)
这里我们两条经典的SQL:
SQL C:
select * from t1 where rank1 = 1 or rank2 = 2 or rank3 = 2;
SQL D:
select * from t1 where rank1 =100 and rank2 =100 and rank3 =100;
表t1实际上在rank1,rank2,rank3三列上分别有一个二级索引。
那我们来看SQL C的查询计划。
显然,没有用到任何索引,扫描的行数为32034,cost为3243.65。
mysql explain format=json select * from t1 where rank1 =1 or rank2 = 2 or rank3 = 2\G*************************** 1. row ***************************EXPLAIN: { "query_block": { "select_id": 1, "cost_info": { "query_cost": "3243.65" }, "table": { "table_name": "t1", "access_type": "ALL", "possible_keys": [ "idx_rank1", "idx_rank2", "idx_rank3" ], "rows_examined_per_scan": 32034, "rows_produced_per_join": 115, "filtered": "0.36", "cost_info": { "read_cost": "3232.07", "eval_cost": "11.58", "prefix_cost": "3243.65", "data_read_per_join": "49K" }, "used_columns": [ "id", "rank1", "rank2", "log_time", "prefix_uid", "desc1", "rank3" ], "attached_condition": "((`ytt`.`t1`.`rank1` = 1) or (`ytt`.`t1`.`rank2` = 2) or (`ytt`.`t1`.`rank3` = 2))" } }}1 row in set, 1 warning (0.00 sec)
我们加上hint给相同的查询,再次看看查询计划。
这个时候用到了index_merge,union了三个列。扫描的行数为1103,cost为441.09,明显比之前的快了好几倍。
mysql explain format=json select /*+ index_merge(t1) */ * from t1 where rank1 =1 or rank2 = 2 or rank3 = 2\G*************************** 1. row ***************************EXPLAIN: { "query_block": { "select_id": 1, "cost_info": { "query_cost": "441.09" }, "table": { "table_name": "t1", "access_type": "index_merge", "possible_keys": [ "idx_rank1", "idx_rank2", "idx_rank3" ], "key": "union(idx_rank1,idx_rank2,idx_rank3)", "key_length": "5,5,5", "rows_examined_per_scan": 1103, "rows_produced_per_join": 1103, "filtered": "100.00", "cost_info": { "read_cost": "330.79", "eval_cost": "110.30", "prefix_cost": "441.09", "data_read_per_join": "473K" }, "used_columns": [ "id", "rank1", "rank2", "log_time", "prefix_uid", "desc1", "rank3" ], "attached_condition": "((`ytt`.`t1`.`rank1` = 1) or (`ytt`.`t1`.`rank2` = 2) or (`ytt`.`t1`.`rank3` = 2))" } }}1 row in set, 1 warning (0.00 sec)
我们再看下SQL D的计划:
不加HINT,
mysql explain format=json select * from t1 where rank1 =100 and rank2 =100 and rank3 =100\G*************************** 1. row ***************************EXPLAIN: { "query_block": { "select_id": 1, "cost_info": { "query_cost": "534.34" }, "table": { "table_name": "t1", "access_type": "ref", "possible_keys": [ "idx_rank1", "idx_rank2", "idx_rank3" ], "key": "idx_rank1", "used_key_parts": [ "rank1" ], "key_length": "5", "ref": [ "const" ], "rows_examined_per_scan": 555, "rows_produced_per_join": 0, "filtered": "0.07", "cost_info": { "read_cost": "478.84", "eval_cost": "0.04", "prefix_cost": "534.34", "data_read_per_join": "176" }, "used_columns": [ "id", "rank1", "rank2", "log_time", "prefix_uid", "desc1", "rank3" ], "attached_condition": "((`ytt`.`t1`.`rank3` = 100) and (`ytt`.`t1`.`rank2` = 100))" } }}1 row in set, 1 warning (0.00 sec)
加了HINT,
mysql explain format=json select /*+ index_merge(t1)*/ * from t1 where rank1 =100 and rank2 =100 and rank3 =100\G*************************** 1. row ***************************EXPLAIN: { "query_block": { "select_id": 1, "cost_info": { "query_cost": "5.23" }, "table": { "table_name": "t1", "access_type": "index_merge", "possible_keys": [ "idx_rank1", "idx_rank2", "idx_rank3" ], "key": "intersect(idx_rank1,idx_rank2,idx_rank3)", "key_length": "5,5,5", "rows_examined_per_scan": 1, "rows_produced_per_join": 1, "filtered": "100.00", "cost_info": { "read_cost": "5.13", "eval_cost": "0.10", "prefix_cost": "5.23", "data_read_per_join": "440" }, "used_columns": [ "id", "rank1", "rank2", "log_time", "prefix_uid", "desc1", "rank3" ], "attached_condition": "((`ytt`.`t1`.`rank3` = 100) and (`ytt`.`t1`.`rank2` = 100) and (`ytt`.`t1`.`rank1` = 100))" } }}1 row in set, 1 warning (0.00 sec)
对比下以上两个,加了HINT的比不加HINT的cost小了100倍。
总结下,就是说表的cardinality值影响这张的查询计划,如果这个值没有正常更新的话,就需要手工加HINT了。相信MySQL未来的版本会带来更多的HINT。
MySQL 使用 EXPLAIN 后面跟SQL,就直接显示查询计划 下面是一个例子: mysql EXPLAIN - SELECT - SALE_DATE, - SUM(SALE_MONEY) AS SUM_MONEY - FROM - SALE_REPORT - GROUP BY - SALE_DATE - ORDER BY - SUM(SALE_MONEY) DESC;
首先在Mysql的服务中有 连接器、查询缓存(Mysql8 已经删除)、分析器、优化器、执行器等,所有跨存储引擎的功能都在这一层实现
而一条sql怎么执行是由优化器决定的, 优化器是在表里面有多个索引的时候,决定使用哪个索引;或者在一个语句有多表关联(join)的时候,决定各个表的连接顺序。
而执行计划就是优化器优化后的sql的执行的详细方案
Mysql中查看执行计划的方式有两种 : 1. 使用desc 2.使用 explain 使用它俩的效果是一样的
接下来要通过执行计划知道sql是怎么执行的
执行计划中有几个重要的字段, 分别是
id, table, type, possible_keys, key, key_len, Extra
id : 可以通过ID来查看在多表联查中sql是先查询哪张表的 id相同的从上往下依次执行,id不同的id大的先执行
table : table当然就是查询的表名
type : 查询的类型 查询类型分为 ALL, index, range, ref , eq_ref, const(system), null
ALL: 指的全盘扫描,没有走任何索引 查询结果集大于25% 优化器可能会走全盘扫描 字符串查询的时候一定要加"" 不然可能会全索引扫描(隐式转换) 统计信息 失效 或者 过旧 也可能走全盘扫描 因为优化器会参考统计信息来制定执行计划
index: 全索引扫描 就是扫描整颗索引树
range: 索引范围 查询索引树的一部分范围 范围索引中 = = like 的效率会比 or in 的效率高, 使用like %再前面的不走索引
ref: 辅助索引的等值查询
当查询的数据量小,优化器也有可能会走索引的全盘扫描 这里我就不贴图了;
eq_ref : 多表连接查询中,被连接的表的连接条件列是主键或者唯一键
const(system): 主键 或者 唯一键 的等值查询
null: 没有数据
他们的性能是依次递增的 全盘扫描性能最差, const性能最高
possible_keys: 查询过程中可能用到的索引
key: 真正使用到的索引
key_len: 走索引的长度
这个是怎么计算的呢?
key_len 的计算方法 :
int 类型最长存储4个字节长度的数字 有not null 是4字节 没有的话会花1字节存储是不是null
tinyint 最大存储一个字节 也会花1字节来判断是不是null
字符串类型 : 字符集 utf8mb4 1-4字节
varchar超过255会预留2个字节存储长度 没超预留1个字节
key_len 永远是你设置的长度的最大的
联合索引可以通过key_len 来判断走了几个索引
使用desc format=json select * from table 可以查看详细情况
filtered: 索引扫描过滤掉数据的占比
Extra: 额外的信息
Using filesort :MySQL 对数据在sql层进行了排序,而不是按照表内的索引进行排序读 取。 效率比较低
Using temporary :使用临时表保存中间结果,也就是说 MySQL 在对查询结果排序时使用了临时表,常见于order by 或 group by。
Using index :表示 SQL 操作中使用了覆盖索引(Covering Index),避免了访问表的数据行,效率高。
Using index condition :表示 SQL 操作命中了索引,但不是所有的列数据都在索引树上,还需要访问实际的行记录。
Using where :表示 SQL 操作使用了 where 过滤条件。
Select tables optimized away :基于索引优化 MIN/MAX 操作或者 MyISAM 存储引擎优化 COUNT(*) 操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即可完成优化。
Using join buffer (Block Nested Loop) :表示 SQL 操作使用了关联查询或者子查询,且需要进行嵌套循环计算
MySQL 使用 EXPLAIN 后面跟SQL,就直接显示查询计划 下面是一个例子: mysql EXPLAIN - SELECT - SALE_DATE, - SUM(SALE_MONEY) AS SUM_MONEY - FROM - SALE_REPORT - GROUP BY - SALE_DATE - ORDER BY - SUM(SALE_MONEY) DESC;
在Mysql调优过程中其中最关键的一点,就是正确使用执行计划,从而查看SQL语句的具体执行过程和参数指标,来具体场景具体分析,来达到优化SQL语句的执行效率的效果
id
select查询的序列号,包含一组数字,表示查询中执行select子句或者操作表的顺序
1、如果id相同,那么执行顺序从上到下
2、如果id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
3、id相同和不同的,同时存在:相同的可以认为是一组,从上往下顺序执行,在所有组中,id值越大,优先级越高,越先执行
select_type
主要用来分辨查询的类型,是普通查询还是联合查询还是子查询
table
对应行正在访问哪张表,表名或者别名,可能是临时表或者union合并结果集
1、如果是具体的表名,则表明从实际的物理表中获取数据,当然也可以是表的别名
2、表名是derivedN的形式,表示使用了id为N的查询产生的衍生表
3、当有union result的时候,表名是union n1,n2等的形式,n1,n2表示参与union的id
type
type显示的是访问类型,访问类型表示我是以何种方式去访问我们的数据,最容易想的是全表扫描,直接暴力的遍历一张表去寻找需要的数据,效率非常低下,访问的类型有很多,效率从最好到最坏依次是:
system const eq_ref ref fulltext ref_or_null index_merge
unique_subquery index_subquery range index ALL
possible_keys
显示可能应用在这张表中的索引,一个或多个,查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用
key
实际使用的索引,如果为null,则没有使用索引,查询中若使用了覆盖索引,则该索引和查询的select字段重叠。
key_len
表示索引中使用的字节数,可以通过key_len计算查询中使用的索引长度,在不损失精度的情况下长度越短越好。
ref
显示索引的哪一列被使用了,如果可能的话,是一个常数
rows
根据表的统计信息及索引使用情况,大致估算出找出所需记录需要读取的行数,此参数很重要,直接反应的sql找了多少数据,在完成目的的情况下越少越好
extra
SQL包含额外的信息