一.概述

  IO 内存是sql
server最重要的资源,数据从磁盘加载到内存,再从内存中缓存,输出到应用端,在sql
server
内存初探中有介绍。在明白了sqlserver内存原理后,就能更好的分析I/O开销,从而提升数据库的整体性能。
在生产环境下数据库的sqlserver服务启动后一个星期,就可以通过dmv来分析优化。在I/O分析这块可以从物理I/O和内存I/O二方面来分析,
重点分析应在内存I/O上,可能从多个维度来分析,比如从sql
server服务启动以来
历史I/O开销总量分析,自执行计划编译以来执行次数总量分析,平均I/0次数分析等。

  sys.dm_exec_query_stats:返回缓存的查询计划,缓存计划中的每个查询语句在该视图中对应一行。当sql
server工作负载过重时,该dmv也有可以统计不正确。如果sql
server服务重启缓存的数据将会清掉。这个dmv包括了太多的信息像内存扫描数,内存空间数,cpu耗时等,具体查看msdn文档。

  sys.dm_exec_sql_text:返回的 SQL
文本批处理,它是由指定sql_handle,其中的text列是查询的文本。

1.1 按照物理读的页面数排序 前50名

SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC

  如下图所示:

  total_physical_reads:计划自编译后在执行期间所执行的物理读取总次数。

  execution_count :计划自上次编译以来所执行的次数。

  [avg I/O]:    平均读取的物理次数(页数)。

  creation_time:编译计划的时间。 

        query_text:执行计划对应的sql脚本

       后面来包括所在的数据库ID:dbid,数据库名称:dbname

图片 1

 1.2 按照逻辑读的页面数排序 前50名

SELECT TOP 50
 qs.total_logical_reads,
 qs.execution_count,
  qs.max_elapsed_time,
 qs.min_elapsed_time,
 qs.total_logical_reads/qs.execution_count AS [AVG IO],
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1 
 THEN LEN(CONVERT(NVARCHAR(max),qt.text)) *2
  ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) 
  AS query_text,
 qt.dbid,
 dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
  creation_time,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_logical_reads DESC

如下图所示:

图片 2

  通过上面的逻辑内存截图来简要分析下:

  从内存扫描总量上看最多的是8311268次页扫描,自执行编译后运行t-sql脚本358次,这里的耗时是毫秒为单位包括最大耗时和最小耗时,平均I/O是23215次(页),该语句文本是一个update
修改,该表数据量大没有完全走索引(权衡后不对该语句做索引覆盖),但执行次数少,且每次执行时间是非工作时间,虽然扫描开销大,但没有影响白天客户使用。

  从执行次数是有一个43188次, 内存扫描总量排名39位。该语句虽然只有815条,但执行次数很多,如里服务器有压力可以优化,一般是该语句没有走索引。把文本拿出来如下

SELECT  Count(*)  AS TotalCount FROM [MEM_FlagshipApply]
 WITH(NOLOCK) Where (((([Status] = 2) AND ([IsDeleted] = 1)) AND ([MemType] = 0)) AND ([MEMID] <> 6))

下面两图一个是分析该语句的执行计划,sqlserver提示缺少索引,另一个是i/o统计扫描了80次。

图片 3

图片 4

 新建索引后在来看看

 CREATE NONCLUSTERED INDEX ix_1
ON [dbo].[MEM_FlagshipApply] ([Status],[IsDeleted],[MemType],[MEMID])

  图片 5

   
  图片 6

 

一. 概述

  上次在介绍性能调优中讲到了I/O的开销查看及维护,这次介绍CPU的开销及维护,
在调优方面是可以从多个维度去发现问题如I/O,CPU, 
内存,锁等,不管从哪个维度去解决,都能达到调优的效果,因为sql
server系统作为一个整体性,它都是紧密相连的,例如:解决了sql语句中I/O开销较多的问题,那对应的CPU开销也会减少,反之解决了CPU开销最多的,那对应I/O开销也会减少。解决I/O开销后CPU耗时也减少,是因为CPU下的Worker线程需要扫描I/O页数就少了,出现的资源锁的阻塞也减少了,具体可参考cpu的原理。

  下面sql语句的dmv:sys.dm_exec_query_stats和sys.dm_exec_sql_text
已经在上篇”sql server 性能调优 I/O开销分析“中有讲到。

--查询编译以来 cpu耗时总量最多的前50条(Total_woker_time)
SELECT TOP 50
    total_worker_time/1000 AS [总消耗CPU 时间(ms)],
    execution_count [运行次数],
    qs.total_worker_time/qs.execution_count/1000 AS [平均消耗CPU 时间(ms)],
    last_execution_time AS [最后一次执行时间],
    max_worker_time /1000 AS [最大执行时间(ms)],
    SUBSTRING(qt.text,qs.statement_start_offset/2+1, 
        (CASE WHEN qs.statement_end_offset = -1 
        THEN DATALENGTH(qt.text) 
        ELSE qs.statement_end_offset END -qs.statement_start_offset)/2 + 1) 
    AS [使用CPU的语法], qt.text [完整语法],
    qt.dbid, dbname=db_name(qt.dbid),
    qt.objectid,object_name(qt.objectid,qt.dbid) ObjectName
FROM sys.dm_exec_query_stats qs WITH(nolock)
CROSS apply sys.dm_exec_sql_text(qs.sql_handle) AS qt
WHERE execution_count>1
ORDER BY  total_worker_time DESC

查询如下图所示,显示CPU耗时总量最多的前50条

图片 7

在排名第38条,拿出耗时的sql脚本来分析,发现未走索引。如下图

图片 8

SELECT [PO_NO],[Qty] FROM [ORD_PurchaseLine] WITH(NOLOCK) WHERE ([PO_NO] IN (' ')) 

图片 9

主要功能:返回由指定的 sql_handle 标识的 SQL 批处理的文本。

二. 维护注意点

  1. 
在生产数据库下,CPU耗时查询,并不限定只排查总耗时前50条,可以是前100~200条。具体看sql脚本没有没优化的需要,并不是每个表的查询都必须走索引。如:有的表不走索引时并不会感觉很耗时平均I/0次数少,表中已建的索引已有多个,增删改也频繁,还有索引占用空间,这时需要权衡。 

-- 快速查看索引数量
sp_help [RFQ_PurDemandDetail]

  图片 10

 2. 不要在工作时间维护大表索引

   
当我们排查到有的大表缺失索引,数据在100w以上,如果在工作时间来维护索引,不管是创建索引还是重建索引都会造成表的阻塞,
这里表的响应会变慢或者直接卡死,前端应用程序直接请求超时。这里需要注意的。来看下新建一个索引的脚本会发现
开启了行锁与页锁(ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON)。

CREATE NONCLUSTERED INDEX [ix_createtime] ON [dbo].[PUB_Search_Log] 
(
    [CreateTime] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, SORT_IN_TEMPDB = OFF,
 IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
GO

sys.dm_exec_cached_plans视图为每个已编译计划包含一个值plan_handle。Plan_Handle是SQL
Server从完整的编译计划中提取出的一个哈希值,它对当前的每一个已存在的编译计划是惟一的,可以被多次重用,可以被看作已编译计划的标识。如果批处理中的某个独立的语句被重编译,但Plan_Handle仍然保留,原因就是我们前面讨论过的基于更正的优化策略。

任何定义的T-SQL批处理,有相同的SQL_Handle值,但未必有相同的Plan_Handle。如果缓存键是的任何值改变,我们在计划缓存中得到一个新的plan_Handle。

在Object和SQL计划缓存存储中有两种主要的计划类型:已编译的计划和执行计划。已编译计划是我们检查sys.dm_exec_cached_plans视图时看到的类型之一,前面我们已经提到过与编译计划有关的三个主要的objType值:Adhoc,Prepsred,Proc。已编译的计划可以被存储在对象存储或SQL存储中,这取决于他们的objType值。已编译计划被看作可量化的内存对象。他们re-create和成本太高了,因此,SQL
Server试图在缓存中保留它们。当SQL
Server面临较大的内存压力时,移除缓存对象的策略使我们的编译计划不是被移除的第一个对象。

已编译计划(Compiled Plans)

《Microsoft Sql server 2008
Internal》读书笔记–目录索引

我们可以在sys.dm_exec_cached_plans视图中,很容易得到sql_Handle的值,从sys.dm_exec_cached_plan_atrributes函数获取一个特定的plan_Handle,如下语句:

一个编译计划被认为是一个完全的批处理,而不仅仅是单个的语句。对于一个多语句的批处理,你可以把已编译计划看作一个计划数组,已编译的计划能被在多个会话与用户间共享。定义给某个已编译计划的特定执行的(被存储在另外一个结构中的)信息,被称为可执行计划。

示例:

返回缓存查询计划的聚合性能统计信息。缓存计划中的每个查询语句在该视图中对应一行,并且行的生存期与计划本身相关联。在从缓存删除计划时,也将从该视图中删除对应行。

 ■sys.dm_exec_sql_text

SELECT TOP 10 SUBSTRING(text, (statement_start_offset/2) + 1,
  ((CASE statement_end_offset
     WHEN -1
       THEN DATALENGTH(text)
     ELSE statement_end_offset
  END – statement_start_offset)/2) + 1) AS query_text, *
FROM sys.dm_exec_query_stats
  CROSS APPLY sys.dm_exec_sql_text(sql_handle)
  CROSS APPLY sys.dm_exec_query_plan(plan_handle)
ORDER BY total_elapsed_time/execution_count DESC;

 ■sys.dm_exec_reauests

USE Northwind2;
DBCC FREEPROCCACHE;
SET QUOTED_IDENTIFIER OFF;
GO
— this is an example of the relationship between
— sql_handle and plan_handle
SELECT LastName, FirstName, Country
FROM Employees
WHERE Country <> ‘USA’;
GO
SET QUOTED_IDENTIFIER ON;
GO
— this is an example of the relationship between
— sql_handle and plan_handle
SELECT LastName, FirstName, Country
FROM Employees
WHERE Country <> ‘USA’;
GO
SELECT st.text, qs. sql_handle, qs.plan_handle
FROM sys.dm_exec_query_stats qs
  CROSS APPLY sys.dm_exec_sql_text(sql_handle) st;
GO

Text sql_handle plan_handle
— this is an example of the relationship between  — sql_handle and plan_handle  SELECT LastName, FirstName, Country  FROM Employees  WHERE Country <> ‘USA’;  0x02000000F42D6709ED82BBD1
AA82185699D108D4A5895AA9
0x06001A00F42D670918891B05
000000000000000000000000
— this is an example of the relationship between  — sql_handle and plan_handle  SELECT LastName, FirstName, Country  FROM Employees  WHERE Country <> ‘USA’;  0x02000000F42D6709ED82BBD1
AA82185699D108D4A5895AA9
0x06001A00F42D670938841B05
000000000000000000000000

 详细说明:

执行上下文(Execution Contexts)

 注意sys.dm_exec_cached_plans和sys.dm_exec_query_stats的主要区别:(这个在MSDN也没有的啊)
1、前者为每个批处理仅有一行被编译、缓存。而后者为每条语句对应一行。
2、后者包含汇总信息汇集了某个特定语句的所有执行信息,返回为每个查询提供的数量巨大的性能信息,包括执行的次数和累积的I/O、CPU和持续时间。记住,这个视图仅仅在查询完成时被更新,因此,如果服务器当前处在一个大的工作负载下,你需要多试几次,以提取更加公正的信息。

Author

发表评论

电子邮件地址不会被公开。 必填项已用*标注