本页讨论
  • query 优化的核心是什么?
  • 如何利用explain进行query优化?
  • 如何使用Profiling进行query优化?
  • query 优化的其他技巧。

query 优化的核心


query优化的核心是:
query必须配合索引使用,其实mysql无论是什么样的优化手段,核心就是减少磁盘的IO,尤其是减少随机IO。

在能查出正确的结果的前提下,我们的query要尽可能地扫描更少的行,尽可能地顺序扫描。

利用explain进行query优化


Explain 是在优化Query 时最直接有效的验证我们想法的工具。

一个利用索引覆盖进行优化的例子:

Explain信息解释:

  • ID:Query Optimizer 所选定的执行计划中查询的序列号;
  • Select_type:所使用的查询类型,主要有以下这几种查询类型
  • DEPENDENT SUBQUERY:子查询中内层的第一个SELECT,依赖于外部查询的结果集;
  • DEPENDENT UNION:子查询中的UNION,且为UNION 中从第二个SELECT 开始的后面所有SELECT,同样依赖于外部查询的结果集;
  • PRIMARY:子查询中的最外层查询,注意并不是主键查询;
  • SIMPLE:除子查询或者UNION 之外的其他查询;
  • SUBQUERY:子查询内层查询的第一个SELECT,结果不依赖于外部查询结果集;
  • UNCACHEABLE SUBQUERY:结果集无法缓存的子查询;
  • UNION:UNION 语句中第二个SELECT 开始的后面所有SELECT,第一个SELECT 为PRIMARY
  • UNION RESULT:UNION 中的合并结果;
  • Table:显示这一步所访问的数据库中的表的名称;
  • Type:告诉我们对表所使用的访问方式,主要包含如下集中类型;
  • all:全表扫描
  • const:读常量,且最多只会有一条记录匹配,由于是常量,所以实际上只需要读一次;
  • eq_ref:最多只会有一条匹配结果,一般是通过主键或者唯一键索引来访问;
  • fulltext:
  • index:全索引扫描;
  • index_merge:查询中同时使用两个(或更多)索引,然后对索引结果进行merge 之后再读取表数据;
  • index_subquery:子查询中的返回结果字段组合是一个索引(或索引组合),但不是一个主键或者唯一索引;
  • rang:索引范围扫描;
  • ref:Join 语句中被驱动表索引引用查询;
  • ref_or_null:与ref 的唯一区别就是在使用索引引用查询之外再增加一个空值的查询;
  • system:系统表,表中只有一行数据;
  • unique_subquery:子查询中的返回结果字段组合是主键或者唯一约束;
  • Possible_keys:该查询可以利用的索引. 如果没有任何索引可以使用,就会显示成null,这一项内容对于优化时候索引的调整非常重要;
  • Key:MySQL Query Optimizer 从possible_keys 中所选择使用的索引;
  • Key_len:被选中使用索引的索引键长度;
  • Ref:列出是通过常量(const),还是某个表的某个字段(如果是join)来过滤(通过key)
  • 的;
  • Rows:MySQL Query Optimizer 通过系统收集到的统计信息估算出来的结果集记录条数;
  • Extra:查询中每一步实现的额外细节信息,主要可能会是以下内容:
  • Distinct:查找distinct 值,所以当mysql 找到了第一条匹配的结果后,将停止该值的查询而转为后面其他值的查询;
  • Full scan on NULL key:子查询中的一种优化方式,主要在遇到无法通过索引访问null值的使用使用;
  • Impossible WHERE noticed after reading const tables:MySQL Query Optimizer 通过收集到的统计信息判断出不可能存在结果;
  • No tables:Query 语句中使用FROM DUAL 或者不包含任何FROM 子句;
  • Not exists:在某些左连接中MySQL Query Optimizer 所通过改变原有Query 的组成而使用的优化方法,可以部分减少数据访问次数;
  • Range checked for each record (index map: N):通过MySQL 官方手册的描述,当MySQL Query Optimizer 没有发现好的可以使用的索引的时候,如果发现如果来自前面的表的列值已知,可能部分索引可以使用。对前面的表的每个行组合,MySQL 检查是否可以使用range 或index_merge 访问方法来索取行。
  • Select tables optimized away:当我们使用某些聚合函数来访问存在索引的某个字段的时候,MySQL Query Optimizer 会通过索引而直接一次定位到所需的数据行完成整个查询。当然,前提是在Query 中不能有GROUP BY 操作。如使用MIN()或者MAX()的时候;
  • Using filesort:当我们的Query 中包含ORDER BY 操作,而且无法利用索引完成排序操作的时候,MySQL Query Optimizer 不得不选择相应的排序算法来实现。
  • Using index:所需要的数据只需要在Index 即可全部获得而不需要再到表中取数据;
  • Using index for group-by:数据访问和Using index 一样,所需数据只需要读取索引即可,而当Query 中使用了GROUP BY 或者DISTINCT 子句的时候,如果分组字段也在索引中,Extra 中的信息就会是Using index for group-by;
  • Using temporary:当MySQL 在某些操作中必须使用临时表的时候,在Extra 信息中就会出现Using temporary 。主要常见于GROUP BY 和ORDER BY 等操作中。
  • Using where:如果我们不是读取表的所有数据,或者不是仅仅通过索引就可以获取所有需要的数据,则会出现Using where 信息;
  • Using where with pushed condition:这是一个仅仅在NDBCluster 存储引擎中才会出现的信息,而且还需要通过打开Condition Pushdown 优化功能才可能会被使用。控制参数为engine_condition_pushdown 。

使用Profiling进行query优化


MySQL 的Query Profiler 是一个使用非常方便的Query 诊断分析工具,通过该工具可以获取一条 Query 在整个执行过程中多种资源的消耗情况,如CPU,IO,IPC,SWAP 等,以及发生的PAGE FAULTS, CONTEXT SWITCHE 等等,同时还能得到该Query 执行过程中MySQL 所调用的各个函数在源文件中的位 置。

下面我们看看Query Profiler 的具体用法。
1、开启profiling 参数
set profiling=1; Query OK, 0 rows affected (0.00 sec)

通过执行“set profiling”命令,可以开启关闭Query Profiler 功能。
2、执行Query
select status,count(*) from test_profiling group by status; +----------------+----------+ | status | count(*) | +----------------+----------+ | st_xxx1 | 27 | | st_xxx2 | 6666 | | st_xxx3 | 292887 | | st_xxx4 | 15 | +----------------+----------+ 5 rows in set (1.11 sec)
在开启Query Profiler 功能之后,MySQL 就会自动记录所有执行的Query 的profile 信息了。

3、获取系统中保存的所有Query 的profile 概要信息

show profiles; +----------+------------+------------------------------------------------------------+ | Query_ID | Duration | Query | +----------+------------+------------------------------------------------------------+ | 1 | 0.00183100 | show databases | | 2 | 0.00007000 | SELECT DATABASE() | | 3 | 0.00099300 | desc test | | 4 | 0.00048800 | show tables | | 5 | 0.00430400 | desc test_profiling | | 6 | 1.90115800 | select status,count(*) from test_profiling group by status | +----------+------------+------------------------------------------------------------+ 3 rows in set (0.00 sec)

通过执行“SHOW PROFILE” 命令获取当前系统中保存的多个Query 的profile 的概要信息。


4、针对单个Query 获取详细的profile 信息。

我们可以根据概要信息中的Query_ID 来获取某个Query 在执行过程中详细的profile 信息。

show profile cpu, block io for query 6; +----------------------+----------+----------+------------+--------------+---------------+ | Status | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out | +----------------------+----------+----------+------------+--------------+---------------+ | starting | 0.000349 | 0.000000 | 0.000000 | 0 | 0 | | Opening tables | 0.000012 | 0.000000 | 0.000000 | 0 | 0 | | System lock | 0.000004 | 0.000000 | 0.000000 | 0 | 0 | | Table lock | 0.000006 | 0.000000 | 0.000000 | 0 | 0 | | init | 0.000023 | 0.000000 | 0.000000 | 0 | 0 | | optimizing | 0.000002 | 0.000000 | 0.000000 | 0 | 0 | | statistics | 0.000007 | 0.000000 | 0.000000 | 0 | 0 | | preparing | 0.000007 | 0.000000 | 0.000000 | 0 | 0 | | Creating tmp table | 0.000035 | 0.000999 | 0.000000 | 0 | 0 | | executing | 0.000002 | 0.000000 | 0.000000 | 0 | 0 | | Copying to tmp table | 1.900619 | 1.030844 | 0.197970 | 347 | 347 | | Sorting result | 0.000027 | 0.000000 | 0.000000 | 0 | 0 | | Sending data | 0.000017 | 0.000000 | 0.000000 | 0 | 0 | | end | 0.000002 | 0.000000 | 0.000000 | 0 | 0 | | removing tmp table | 0.000007 | 0.000000 | 0.000000 | 0 | 0 | | end | 0.000002 | 0.000000 | 0.000000 | 0 | 0 | | query end | 0.000003 | 0.000000 | 0.000000 | 0 | 0 | | freeing items | 0.000029 | 0.000000 | 0.000000 | 0 | 0 | | logging slow query | 0.000001 | 0.000000 | 0.000000 | 0 | 0 | | logging slow query | 0.000002 | 0.000000 | 0.000000 | 0 | 0 | | cleaning up | 0.000002 | 0.000000 | 0.000000 | 0 | 0 | +----------------------+----------+----------+------------+--------------+---------------+

上面的例子中是获取CPU 和Block IO 的消耗,非常清晰,对于定位性能瓶颈非常适用

query优化的其他技巧

尽量避免Join
数据适当的冗余

水平切分
比如按照某个字段取余。
不会存在某些超大型数据量和高负载的表遇到瓶颈的问题;
应用程序端整体架构改动相对较少;
事务处理相对简单;
只要切分规则能够定义好,较难遇到扩展性限制;


下一篇:连接优化

成为你想看到的世界变革力量

创建者:万乐荣
最后更新时间 : 2018年9月5日 11:16

评论