博客园_zping

2011年2月--2011年7月数据库性能优化过程

2012-01-12T08:45:00Z

开始暴露问题
    2011年2月下旬的一天早上，昨天更新的系统，早上发现数据库的服务器CPU达到100%，而且持续的时间很长，不得回到昨天更新前的版本，但系统还是有较长时间达到100%的情况，问题没有解决，从这正式开始优化线上数据库性能。

第一阶段优化
   分析问题：
    一开始老是想找出问题的原因，找了3天还没有头绪，列出以下原因：
   1，JOB的耗时存储过程 --太频繁，执行时间长，1,2分钟
   2，频繁执行同样的SQL --如查询用户表sys_user 几分钟内执行数千次
   3，tempdb太小
   4，运行SQL太慢
   5，数据库阻塞
     但这些原因，都找不出具体的在那块有问题，好像都有，又好像都没有，时间在一天天过去，但是系统还是100%经常发生，严重影响业务使用，这时只能按照以前的优化经验调整优化思路，不找原因，只要是问题就优化，一个一个处理，最终解决系统性能问题：
主要是执行优化方法：
1，删除全部的主键聚集索引，改成唯一非聚集索引
2，删除重建全部索引
3，删除全部外键约束
4，持续优化SQL
5，使用行版本隔离级别
6，根据SQL建立索引
7，安装SQL 2008 SP2补丁

8，禁止读取大量数据未分页的SQL，读出数据必须分页50条。

第二阶段优化
经过一个多月的优化，比以前稳定一些，但系统100%的情况还有发生，这时分析下来，可能存在一些原因：
   1,高并发
   2,严重系统缺陷
   3,死锁
   4,缓存问题
   5,循环调用SQL
   6,长事务
   7,未优化的SQL
为跟踪以上出现的SQL，发现以前用的DMVS性能分析视图远远不够，必须使用SQL Profile等其他工具，这期间的确进步很大
   1，使用SQL Profile监控工具监控高耗CPU的SQL
   2，发现长事务，并优化程序和SQL缺陷
   3，发现SQL事务中的执行语句停顿问题
   4，跟踪引起死锁SQL，并分析死锁原因和优化
   5，使用windows的性能工具分析CPU，Reads发现系统问题
   6，使用SSRS和windows的性能工具每天发送CPU跟踪报表。

第三阶段优化
经过一，二阶段优化，系统100%比以前的少了很多，但有一天，看SSRS的CPU报表，突然CPU暴涨到100%，而且第二天还有，通过Profile发现是因为缓存更新的原因，由于后台修改数据会触发缓存更新，一旦后台大量更新数据时，前台就会更新大量缓存，这样一来就要很多个SQL请求，CPU就会暴涨到100%，后来修改了程序缓存策略，该问题解决。

经过这三轮的优化，系统的性能比以前有了明显的改善，系统100%的情况极少。经过这几个月优化，彻底发现以前的知识和经验不足，并一度怀疑自己的能力，为何以前优化系统，1,2个月就大概全部搞定，这次花了这么长时间，可能情况不一样，系统的复杂程度也不一样吧！

2011年3月3日CPU的趋势图

2011年5月3日CPU的趋势图

2011年7月7日CPU的趋势图

本文链接

SQL 2008 配置镜像执行SQL

2012-01-11T08:06:00Z

主机执行:

USE master;
CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'ics2012';
CREATE CERTIFICATE HOST_A_cert WITH SUBJECT = 'HOST_A certificate' ,
EXPIRY_DATE = '01/01/2050';

CREATE ENDPOINT Endpoint_Mirroring
STATE = STARTED
AS
TCP ( LISTENER_PORT=5022 , LISTENER_IP = ALL )
FOR
DATABASE_MIRRORING
( AUTHENTICATION = CERTIFICATE HOST_A_cert , ENCRYPTION = REQUIRED ALGORITHM AES , ROLE = ALL );

BACKUP CERTIFICATE HOST_A_cert TO FILE = 'E:\SQLBackup\HOST_A_cert.cer';

CREATE LOGIN HOST_B_login WITH PASSWORD = 'ics2012';
CREATE USER HOST_B_user FOR LOGIN HOST_B_login;
CREATE CERTIFICATE HOST_B_cert AUTHORIZATION HOST_B_user FROM FILE = 'E:\SQLBackup\HOST_B_cert.cer';
GRANT CONNECT ON ENDPOINT::Endpoint_Mirroring TO [HOST_B_login];

ALTER DATABASE ICSONDB SET PARTNER = 'TCP://192.168.5.14:5022';

--DROP ENDPOINT Endpoint_Mirroring
--DROP CERTIFICATE HOST_A_cert
--DROP CERTIFICATE HOST_B_cert
--DROP MASTER KEY

备机执行:

USE master;
CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'ics2012';
CREATE CERTIFICATE HOST_B_cert WITH SUBJECT = 'HOST_B certificate',
EXPIRY_DATE = '01/01/2050';

CREATE ENDPOINT Endpoint_Mirroring
STATE = STARTED
AS
TCP ( LISTENER_PORT=5022 , LISTENER_IP = ALL )
FOR
DATABASE_MIRRORING
( AUTHENTICATION = CERTIFICATE HOST_B_cert , ENCRYPTION = REQUIRED ALGORITHM AES , ROLE = ALL );

BACKUP CERTIFICATE HOST_B_cert TO FILE = 'D:\SQLBackup\HOST_B_cert.cer';

CREATE LOGIN HOST_A_login WITH PASSWORD = 'ics2012';
CREATE USER HOST_A_user FOR LOGIN HOST_A_login;
CREATE CERTIFICATE HOST_A_cert AUTHORIZATION HOST_A_user FROM FILE = 'D:\SQLBackup\HOST_A_cert.cer';
GRANT CONNECT ON ENDPOINT::Endpoint_Mirroring TO [HOST_A_login];

--DROP ENDPOINT Endpoint_Mirroring
--DROP CERTIFICATE HOST_A_cert
--DROP CERTIFICATE HOST_B_cert
--DROP MASTER KEY

本文链接

处理“远程主机强迫关闭了一个现有的连接”

2011-12-05T08:29:00Z

最近，数据库系统经常出现“ 消息

[298] SQLServer Error: 10054, TCP Provider: 远程主机强迫关闭了一个现有的连接。 [SQLSTATE 08S01]”

一开始很迷惑，不知道原因，后来查询资料，发现max worker thread设置问题，由于前期max worker thread设置为255，连接过小，修改成0

本文链接

批量导出表索引

2011-11-11T08:03:00Z

批量导出索引：

           SELECT   'CREATE  INDEX  ' + [name]
                    + ' ON [' + OBJECT_NAME(object_id) + '] ('
                    + REVERSE(SUBSTRING(REVERSE(( SELECT    name
                                                            + CASE WHEN sc.is_descending_key = 1 THEN ' DESC'
                                                                   ELSE ' ASC'
                                                              END + ','
                                                  FROM      sys.index_columns sc
                                                            JOIN sys.columns c ON sc.object_id = c.object_id
                                                                                  AND sc.column_id = c.column_id
                                                  WHERE     OBJECT_NAME(sc.object_id) IN (SELECT sysno from IC_History.dbo.temp)
                                                            AND sc.object_id = i.object_id
                                                            AND sc.index_id = i.index_id
                                                  ORDER BY  index_column_id ASC
                                                FOR
                                                  XML PATH('')
                                                )), 2, 8000)) + ') With (Online=On)'
           FROM     sys.indexes i
           WHERE    OBJECT_NAME(object_id) IN  ('表名' )
                    AND CASE WHEN 1 = 1
                                  AND is_primary_key = 1
                                  AND type = 1 THEN 0
                             ELSE 1
                        END = 1
                   -- AND is_unique_constraint = 0
                   -- AND is_primary_key = 0

本文链接

SQL Server 2008 网络备份数据库

2011-11-04T06:03:00Z

一台SQL Server的磁盘空间不够备份，想做日志传送，无法实现，在网上找了一个方法

原文URL：

http://blog.sina.com.cn/s/blog_4c8f1ac20100rz7z.html

        sp_configure 'show advanced options', 1;
        GO
        RECONFIGURE;
        GO
        sp_configure 'xp_cmdshell', 1;
        GO
        RECONFIGURE;
        GO
        sp_configure 'show advanced options', 0;
        GO
        RECONFIGURE;
        GO

       exec master..xp_cmdshell 'net use \\10.96.78.170\tool 登陆密码 /user:10.96.78.170\登陆用户'

       declare @filename nvarchar(100),--文件名
       @NowDay   int  --设置时间
       set @filename='\\10.96.78.170\tool\'+convert(char(8),getdate(),112)+'.bak'  --文件路径及文件名
       Set @NowDay=Day(GetDate())
       begin
         BACKUP DATABASE INDB TO DISK = @filename WITH INIT,NOUNLOAD,NAME=N'i数据备份',NOSKIP,STATS=10,NOFORMAT
       end

本文链接

SQL Server 监控锁定信息

2011-10-12T06:27:00Z

查看当前数据库锁定信息:

declare   @tba  TABLE
(spid  int,dbid INT,objectid INT,
indld INT,TYPE VARCHAR(20),resource VARCHAR(50),mode VARCHAR(20),status VARCHAR(10))
insert  into @tba exec sp_lock
select spid,OBJECT_name(objectid) tab,TYPE,resource,mode,status from @tba WHERE dbid=DB_ID()
and OBJECT_name(objectid)<>''
ORDER BY 2

本文链接

下车扫描五次优化全过程

2011-09-19T10:56:00Z

下车扫描，业务部门一直反应慢，不稳定，程序不是报黄页就是运行慢，严重影响师傅使用，估计师傅心里一直"很想我们"。

第一次优化

和同事一起看了程序业务逻辑，觉得应该将整个扫描逻辑过程放到存储过程，一可以避免程序在交互中的影响，二可以提高性能。

修改完后，由于需要读取Sequence，在存储过程中需要运行下列命令
来获取：
SELECT @DeliveryItemStatusSysNo= dbo.CreateSequence('DeliveryItem_Status_Sequence',1,'192.168.2.8',6060)

第二次优化

扫描过程优化上线，没多久，周六上午同事说下车扫描还是有问题，运行很慢也不稳定，分析下来发现是取Sequence的问题。
 由于取Sequence不能并发。只能通过预取Sequence好后，提供给存储过程执行。
 修改成了：
 select @DeliveryItemStatusSysNo= MIN(sysno)from DeliveryItem_Status_Sequence where useflag=0
 update DeliveryItem_Status_Sequence set useflag=1 where sysno=@DeliveryItemStatusSysNo and useflag=0

第三次优化

优化后，心想这回取Sequence不会慢了，但是新问题又来了，由于这个下单扫描并发非常高，从凌晨到早上7点大约有6K单。
  运行后发现这个Sequence取有重复的情况。一重复就报错。后来只能修改成：
  将隔离级别修改成最高，这样就不会重复：
 SET TRANSACTION ISOLATION LEVEL SERIALIZABLE
BEGIN tran
select @DeliveryItemStatusSysNo= MIN(sysno)from DeliveryItem_Status_Sequence where useflag=0
update DeliveryItem_Status_Sequence set useflag=1 where sysno=@DeliveryItemStatusSysNo and useflag=0
COMMIT TRAN 
SET TRANSACTION ISOLATION LEVEL  READ COMMITTED

第四次优化

经过三次优化应该没有问题了，但是运行下来，发现出现大量的死锁。由于隔离级别的提高，并发变成了顺序提交，死锁上来了。有没有
  其他办法来解决并发和重复的问题，这个问题一直困扰我，查了一下SQL server的帮助文档。想起一个新的方法，修改sql如下：

DECLARE @tbVarSysNo table(
SysNo INT
)
--更新状态表
UPDATE TOP (1) DeliveryItem_Status_Sequence
SET useflag=1
OUTPUT INSERTED.SysNo
INTO @tbVarSysNo WHERE useflag=0;
SELECT @DeliveryItemStatusSysNo=SysNo FROM @tbVarSysNo

以上sql直接修改随机一条SysNO并取出，不需要去select和update成2次表，可以避免查询和更新的时间差引起重复和并发的情况

第五次优化

经过上面4次优化，观察发现不重复和并发的问题解决了，但是在更新MERGE INTO DeliveryItem_Status 
  表时，出现了死锁情况，经过跟踪这个死锁信息，发现是用了SERIALIZABLE隔离级别，检查程序和存储过程，
  没有地方声明SERIALIZABLE隔离级别，估计是SQL Server的bug，没办法，只能手工在存储过程中声明成 
  READ COMMITTED隔离级别，，

这一次修改后， 运行2天后发现，以上死锁，重复sysno和执行慢都解决了

总结

以上就是扫描的5次优化的全过程和解决方法，希望对大家后面的优化系统提供一些信息和参考。

本文链接

清理大批量数据例子

2011-09-07T08:18:00Z

最近有一个新任务，在一个表里一下更新700W条数据。由于这个表业务正在使用，而且SQL Server做了完整日志记录。

修改了一下更新sql，分批更新，每次60W。

DECLARE @num INT
SET @num=0
WHILE @num<7000000
BEGIN
    UPDATE t SET UseCustomerSysNo=c.sysno,ValidTimeFrom='2011-09-07',rowmodifydate=GETDATE(),ValidTimeTo='2011-09-12 23:59:59.000'
    FROM (SELECT ValidTimeTo,rowmodifydate, ValidTimeFrom, sysno,UseCustomerSysNo,ROW_NUMBER() over(ORDER BY sysno) rn
    FROM dbo.Coupon WHERE BatchNo=623) t
    INNER JOIN (SELECT sysno,ROW_NUMBER() over(ORDER BY sysno) rn FROM customer WHERE RegisterTime<'2011-9-6') c
    ON c.rn=t.rn AND t.rn>=@num AND t.rn<@num+600000
     SET @num=@num+600000
END

更新过程中，的确存在堵塞前台更新表的情况，但由于这个时间比较快，堵塞也就不多！

删除历史数据：

WHILE 1=1
BEGIN
    DELETE TOP(500000)   FROM
    Product_DailyClick where clickdate<'2011-01-01'
     IF @@ROWCOUNT<500000
         BREAK;
END

本文链接

一条诡异的SQL

2011-09-07T07:55:00Z

上周五，在2.4数据库上执行一条简单的sql查不出数据，SQL如下：
select * from Product_ID where POSysNo in(188060,185624) and SysNo not in(select productidsysno from SO_Item_PO)
执行：
select * from Product_ID where POSysNo in(188060,185624)
查出一个SysNo=26293588
在select productidsysno from SO_Item_PO where productidsysno=26293588，执行在SO_Item_PO的确是没有。

按照这个逻辑上面的SQL执行，应该有SysNo=26293588这条数据，但实际没有。

莫非见”鬼“，还是人品有问题，怎么可能查不出数据，语法没问题，数据库正常！！！

这可是今年第二次碰到这个诡异的事情。

经验表明，越出现问题要越冷静，先看看这个SQL的执行计划：

注意这里ProductIDSysNo字段执行的操作：

查找键[1]: 起始: [ICSONDB].[dbo].[SO_Item_PO].ProductIDSysNo > 标量运算符([Expr1017]),
结尾: [ICSONDB].[dbo].[SO_Item_PO].ProductIDSysNo < 标量运算符([Expr1018])

可以看出这里的数据库是执行了部分表字段查询数据，而不是查询全部表数据

说明，数据库执行计划出错，造成执行结果也出错。原因是说明引起的，仔细分析发现，
原来ProductIDSysNo存放了null值。但是一般情况下没有问题，在正式库上执行就不行。
这可能是SQL 2008的bug。虽然打了SP2补丁，这个问题没解决。

如何解决：
改写上面的sql可以避免NULL值的影响，如：
select * from    Product_ID
where   Product_ID.POSysNo in (188060,185624)
        and not EXISTS ( select   1 from    SO_Item_PO WHERE productidsysno=Product_ID.SysNo )
或者：
select * from Product_ID where POSysNo in(188060,185624) and SysNo not IN
(select productidsysno from SO_Item_PO WHERE productidsysno IS NOT null)

本文链接

查询表的使用空间和可用空间

2011-07-06T08:38:00Z

查询表的使用空间和可用空间

set nocount on
exec sp_MSForEachTable
@precommand=N'
create table ##(
id int identity,
表名 sysname,
字段数 int,
记录数 int,
保留空间 varchar(20),
使用空间 varchar(20),
索引使用空间 varchar(20),
未用空间 varchar(20))',
@command1=N'insert ##(表名,记录数,保留空间,使用空间,索引使用空间,未用空间) exec sp_spaceused ''?''
update ## set 字段数=(select count(*) from syscolumns where id=object_id(''?'')) where id=scope_identity()',
@postcommand=N'select 表名,记录数,replace(保留空间,''KB'','''')/1024 已经分配空间MB,replace(使用空间,''KB'','''')/1024 数据使用空间MB
,replace(索引使用空间,''KB'','''')/1024 索引使用空间MB,replace(未用空间,''KB'','''')/1024 未用空间MB from ## order by 记录数 desc drop table ##'
set nocount off

本文链接