大数据查询优化

图片 1图片 2

1、**Like语句是否属于**SARG取决于所使用的通配符的类型
如:name like ‘张%’ ,这就属于SARG
而:name like ‘%张’ ,就不属于SARG。
原因是通配符%在字符串的开通使得索引无法使用。
2、**or 会引起全表扫描
  Name=’张三’ and 价格>5000 符号SARG,而:Name=’张三’ or 价格>5000 则不符合SARG。使用or会引起全表扫描。
3、非操作符、函数引起的不满足**SARG形式的语句
  不满足SARG形式的语句最典型的情况就是包括非操作符的语句,如:NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT
LIKE等,另外还有函数。下面就是几个不满足SARG形式的例子:
ABS(价格)<5000
Name like ‘%三’
有些表达式,如:
WHERE 价格*2>5000
SQL SERVER也会认为是SARG,SQL
SERVER会将此式转化为:
WHERE 价格>2500/2
但我们不推荐这样使用,因为有时SQL
SERVER不能保证这种转化与原始表达式是完全等价的。
4、**IN 的作用相当与**OR
语句:
Select * from table1 where tid in (2,3)

Select * from table1 where tid=2 or tid=3
是一样的,都会引起全表扫描,如果tid上有索引,其索引也会失效。
5、尽量少用**NOT 6、exists 和 in 的执行效率是一样的
  很多资料上都显示说,exists要比in的执行效率要高,同时应尽可能的用not
exists来代替not
in。但事实上,我试验了一下,发现二者无论是前面带不带not,二者之间的执行效率都是一样的。因为涉及子查询,我们试验这次用SQL SERVER自带的pubs数据库。运行前我们可以把SQL
SERVER的statistics I/O状态打开:
(1)select title,price from
titles where title_id in (select title_id from sales where
qty>30)
该句的执行结果为:
表 ”sales”。扫描计数 18,逻辑读 56 次,物理读 0 次,预读 0 次。
表 ”titles”。扫描计数 1,逻辑读 2 次,物理读 0 次,预读 0 次。
(2)select title,price from
titles 
  where exists (select * from sales 
  where sales.title_id=titles.title_id and
qty>30)
第二句的执行结果为:
表 ”sales”。扫描计数 18,逻辑读 56 次,物理读 0 次,预读 0 次。
表 ”titles”。扫描计数 1,逻辑读 2 次,物理读 0 次,预读 0 次。
我们从此可以看到用exists和用in的执行效率是一样的。
7、用函数charindex()和前面加通配符%的**LIKE执行效率一样
  前面,我们谈到,如果在LIKE前面加上通配符%,那么将会引起全表扫描,所以其执行效率是低下的。但有的资料介绍说,用函数charindex()来代替LIKE速度会有大的提升,经我试验,发现这种说明也是错误的:
select gid,title,fariqi,reader from tgongwen 
  where charindex(”刑侦支队”,reader)>0 and fariqi>”2004-5-5”
用时:7秒,另外:扫描计数 4,逻辑读 7155 次,物理读 0 次,预读 0 次。
select gid,title,fariqi,reader from tgongwen 
  where reader like ”%” + ”刑侦支队” + ”%” and fariqi>”2004-5-5”
用时:7秒,另外:扫描计数 4,逻辑读 7155 次,物理读 0 次,预读 0 次。
8、**union并不绝对比**or的执行效率高
  我们前面已经谈到了在where子句中使用or会引起全表扫描,一般的,我所见过的资料都是推荐这里用union来代替or。事实证明,这种说法对于大部分都是适用的。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen 
  where fariqi=”2004-9-16” or gid>9990000
用时:68秒。扫描计数 1,逻辑读 404008 次,物理读 283 次,预读 392163 次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16” 
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
gid>9990000
用时:9秒。扫描计数 8,逻辑读 67489 次,物理读 216 次,预读 7499 次。
看来,用union在通常情况下比用or的效率要高的多。
  但经过试验,笔者发现如果or两边的查询列是一样的话,那么用union则反倒和用or的执行速度差很多,虽然这里union扫描的是索引,而or扫描的是全表。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen 
  where fariqi=”2004-9-16” or
fariqi=”2004-2-5”
用时:6423毫秒。扫描计数 2,逻辑读 14726 次,物理读 1 次,预读 7176 次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16” 
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-2-5”
用时:11640毫秒。扫描计数 8,逻辑读 14806 次,物理读 108 次,预读 1144 次。
9、字段提取要按照**“需多少、提多少”的原则,避免“select *”
  我们来做一个试验:
select top 10000 gid,fariqi,reader,title from tgongwen order by gid
desc
用时:4673毫秒
select top 10000 gid,fariqi,title from tgongwen order by gid desc
用时:1376毫秒
select top 10000 gid,fariqi from tgongwen order by gid desc
用时:80毫秒
  由此看来,我们每少提取一个字段,数据的提取速度就会有相应的提升。提升的速度还要看您舍弃的字段的大小来判断。
10、count(*)不比count(字段**)慢
  某些资料上说:用*会统计所有列,显然要比一个世界的列名效率低。这种说法其实是没有根据的。我们来看:
select count(*) from Tgongwen
用时:1500毫秒
select count(gid) from Tgongwen 
用时:1483毫秒
select count(fariqi) from Tgongwen
用时:3140毫秒
select count(title) from Tgongwen
用时:52050毫秒
  从以上可以看出,如果用count(*)和用count(主键)的速度是相当的,而count(*)却比其他任何除主键以外的字段汇总速度要快,而且字段越长,汇总的速度就越慢。我想,如果用count(*), SQL
SERVER可能会自动查找最小字段来汇总的。当然,如果您直接写count(主键)将会来的更直接些。
11、**order by按聚集索引列排序效率最高**
  我们来看:(gid是主键,fariqi是聚合索引列):
select top 10000 gid,fariqi,reader,title from tgongwen
用时:196 毫秒。 扫描计数 1,逻辑读 289 次,物理读 1 次,预读 1527 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by gid
asc
用时:4720毫秒。 扫描计数 1,逻辑读 41956 次,物理读 0 次,预读 1287 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by gid
desc
用时:4736毫秒。 扫描计数 1,逻辑读 55350 次,物理读 10 次,预读 775 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi
asc
用时:173毫秒。 扫描计数 1,逻辑读 290 次,物理读 0 次,预读 0 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi
desc
用时:156毫秒。 扫描计数 1,逻辑读 289 次,物理读 0 次,预读 0 次。
  从以上我们可以看出,不排序的速度以及逻辑读次数都是和“order by 聚集索引列” 的速度是相当的,但这些都比“order
by 非聚集索引列”的查询速度是快得多的。

前面,我们谈到,如果在LIKE前面加上通配符%,那么将会引起全表扫描,所以其执行效率是低下的。但有的资料介绍说,用函数charindex()来代替LIKE速度会有大的提升,经我试验,发现这种说明也是错误的: 

动作描述

使用聚集索引

使用非聚集索引

列经常被分组排序

返回某范围内的数据

不应

一个或极少不同值

不应

不应

小数目的不同值

不应

大数目的不同值

不应

频繁更新的列

不应

外键列

主键列

频繁修改索引列

不应

表 ”sales”。扫描计数
18,逻辑读 56 次,物理读 0 次,预读 0 次。

列名 操作符 <常数 或 变量>或<常数 或 变量> 操作符列名

Name=’张三’ and 价格>5000 符号SARG,而:Name=’张三’ or 价格>5000
则不符合SARG。使用or会引起全表扫描。

从以上我们可以看出,不排序的速度以及逻辑读次数都是和“order by
聚集索引列” 的速度是相当的,但这些都比“order by
非聚集索引列”的查询速度是快得多的。

7、用函数charindex()和前面加通配符%的LIKE执行效率一样

2.union

用时:4736毫秒。 扫描计数
1,逻辑读 55350 次,物理读 10 次,预读 775 次。

虽然查询优化器可以根据where子句自动的进行查询优化,但大家仍然有必要了解一下“查询优化器”的工作原理,如非这样,有时查询优化器就会不按照您的本意进行快速查询。

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16” or fariqi=”2004-2-5”

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16”

union

2、在查询最后一页时,速度一般为5秒至8秒,哪怕分页总数只有3页或30万页。

价格>5000

上面已经谈到:在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要,我们可以把他们合并起来,建立一个复合索引(compound
index)。

某些资料上说:用*会统计所有列,显然要比一个世界的列名效率低。这种说法其实是没有根据的。我们来看:

 

第二句的执行结果为:

3、把所有需要提高查询速度的字段都加进聚集索引,以提高查询速度

同时,按照某个字段进行排序的时候,无论是正序还是倒序,速度是基本相当的。

1.select top 10000 gid,fariqi from tgongwen order by gid desc

由此看来,我们每少提取一个字段,数据的提取速度就会有相应的提升。提升的速度还要看您舍弃的字段的大小来判断。

下面是实例语句:(都是提取25万条数据)

我们来做一个试验:

用时:4720毫秒。 扫描计数 1,逻辑读 41956 次,物理读 0 次,预读 1287
次。

3、非操作符、函数引起的不满足SARG形式的语句

6、exists 和 in 的执行效率是一样的

1.select top 10000 gid,fariqi,title from tgongwen order by gid desc

1.(2)select gid,fariqi,neibuyonghu,title from Tgongwen where
fariqi>”2004-5-5” and neibuyonghu=”办公室”

虽然查询优化器可以根据where子句自动的进行查询优化,但大家仍然有必要了解一下“查询优化器”的工作原理,如非这样,有时查询优化器就会不按照您的本意进行快速查询。

如:name like ‘张%’ ,这就属于SARG

从以上可以看出,如果用count(*)和用count(主键)的速度是相当的,而count(*)却比其他任何除主键以外的字段汇总速度要快,而且字段越长,汇总的速度就越慢。我想,如果用count(*),
SQL
SERVER可能会自动查找最小字段来汇总的。当然,如果您直接写count(主键)将会来的更直接些。

用时:53763毫秒(54秒)

1.select count(gid) from Tgongwen

如果一个表达式不能满足SARG的形式,那它就无法限制搜索的范围了,也就是SQL
SERVER必须对每一行都判断它是否满足WHERE子句中的所有条件。所以一个索引对于不满足SARG形式的表达式来说是无用的。

6、exists 和 in 的执行效率是一样的

(1)仅在主键上建立聚集索引,并且不划分时间段:

如:name like ‘张%’
,这就属于SARG

本篇文章汇集了笔者近段在使用数据库方面的心得,是在做“办公自动化”系统时实践经验的积累。希望这篇文章不仅能够给大家的工作带来一定的帮助,也希望能让大家能够体会到分析问题的方法;最重要的是,希望这篇文章能够抛砖引玉,掀起大家的学习和讨论的兴趣,以共同促进,共同为公安科技强警事业和金盾工程做出自己最大的努力。

用时:1483毫秒

很多人认为只要把任何字段加进聚集索引,就能提高查询速度,也有人感到迷惑:如果把复合的聚集索引字段分开查询,那么查询速度会减慢吗?带着这个问题,我们来看一下以下的查询速度(结果集都是25万条数据):(日期列fariqi首先排在复合聚集索引的起始列,用户名neibuyonghu排在后列):

如果一个表达式不能满足SARG的形式,那它就无法限制搜索的范围了,也就是SQL
SERVER必须对每一行都判断它是否满足WHERE子句中的所有条件。所以一个索引对于不满足SARG形式的表达式来说是无用的。

用时:4736毫秒。 扫描计数 1,逻辑读 55350 次,物理读 10 次,预读 775
次。

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16”

1.Select gid,fariqi,neibuyonghu,title from tgongwen

很多资料上都显示说,exists要比in的执行效率要高,同时应尽可能的用not
exists来代替not
in。但事实上,我试验了一下,发现二者无论是前面带不带not,二者之间的执行效率都是一样的。因为涉及子查询,我们试验这次用SQL
SERVER自带的pubs数据库。运行前我们可以把SQL SERVER的statistics
I/O状态打开:

本文的试验数据都是来自我们的HP ML
350服务器。服务器配置:双Inter Xeon 超线程 CPU 2.4G,内存1G,操作系统Windows Server 2003 Enterprise Edition,数据库SQL Server 2000 SP3

用时:4673毫秒

2.select top 10000 gid,fariqi,title from tgongwen

用时:7秒,另外:扫描计数
4,逻辑读 7155 次,物理读 0 次,预读 0 次。

--获取指定页的数据:

01.CREATE PROCEDURE pagination3

02.@tblName varchar(255), -- 表名

03.@strGetFields varchar(1000) = ''*'', -- 需要返回的列

04.@fldName varchar(255)='''', -- 排序的字段名

05.@PageSize int = 10, -- 页尺寸

06.@PageIndex int = 1, -- 页码

07.@doCount bit = 0, -- 返回记录总数, 非 0 值则返回

08.@OrderType bit = 0, -- 设置排序类型, 非 0 值则降序

09.@strWhere varchar(1500) = '''' -- 查询条件 (注意: 不要加 where)

10.AS

11. 

12.declare @strSQL varchar(5000) -- 主语句

13.declare @strTmp varchar(110) -- 临时变量

14.declare @strOrder varchar(400) -- 排序类型

15. 

16.if @doCount != 0

17.begin

18.if @strWhere !=''''

19.set @strSQL = "select count(*) as Total from [" + @tblName + "] where "+@strWhere

20.else

21.set @strSQL = "select count(*) as Total from [" + @tblName + "]"

22.end

--以上代码的意思是如果@doCount传递过来的不是0,就执行总数统计。以下的所有代码都是@doCount为0的情况:

1.else

2.begin

3.if @OrderType != 0

4.begin

5.set @strTmp = "<(select min"

6.set @strOrder = " order by [" + @fldName +"] desc"

--如果@OrderType不是0,就执行降序,这句很重要!

01.end

02.else

03.begin

04.set @strTmp = ">(select max"

05.set @strOrder = " order by [" + @fldName +"] asc"

06.end

07. 

08.if @PageIndex = 1

09.begin

10.if @strWhere != ''''

11. 

12.set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ "

13.        from [" + @tblName + "] where " + @strWhere + " " + @strOrder

14.else

15. 

16.set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ "

17.        from ["+ @tblName + "] "+ @strOrder

--如果是第一页就执行以上代码,这样会加快执行速度

1.end

2.else

3.begin

--以下代码赋予了@strSQL以真正执行的SQL代码 

01.set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ " from ["

02.+ @tblName + "] where [" + @fldName + "]" + @strTmp + "(["+ @fldName + "])

03.      from (select top " + str((@PageIndex-1)*@PageSize) + " ["+ @fldName + "]

04.      from [" + @tblName + "]" + @strOrder + ") as tblTmp)"+ @strOrder

05. 

06.if @strWhere != ''''

07.set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ " from ["

08.+ @tblName + "] where [" + @fldName + "]" + @strTmp + "(["

09.+ @fldName + "]) from (select top " + str((@PageIndex-1)*@PageSize) +" ["

10.+ @fldName + "] from [" + @tblName + "] where " + @strWhere + " "

11.+ @strOrder + ") as tblTmp) and " + @strWhere + " " + @strOrder

12.end

13. 

14.end

15. 

16.exec (@strSQL)

17. 

18.GO

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16” or gid>9990000

1、Like语句是否属于SARG取决于所使用的通配符的类型

SARG的定义:用于限制搜索的一个操作,因为它通常是指一个特定的匹配,一个值得范围内的匹配或者两个以上条件的AND连接。形式如下:

用时:3140毫秒

事实上,这样的担心是不必要的。SQL
SERVER中有一个“查询分析优化器”,它可以计算出where子句中的搜索条件并确定哪个索引能缩小表扫描的搜索空间,也就是说,它能实现自动优化。

用时:7秒,另外:扫描计数 4,逻辑读 7155 次,物理读 0 次,预读 0 次。

1.select top 10000 gid,fariqi,reader,title from tgongwen

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi>”2004-1-1”

该句的执行结果为:

(3)将聚合索引建立在日期列(fariqi)上:

用时:173毫秒。 扫描计数
1,逻辑读 290 次,物理读 0 次,预读 0 次。

虽然每条语句提取出来的都是25万条数据,各种情况的差异却是巨大的,特别是将聚集索引建立在日期列时的差异。事实上,如果您的数据库真的有1000万容量的话,把主键建立在ID列上,就像以上的第1、2种情况,在网页上的表现就是超时,根本就无法显示。这也是我摒弃ID列作为聚集索引的一个最重要的因素。得出以上速度的方法是:在各个select语句前加:

用时:156毫秒。 扫描计数
1,逻辑读 289 次,物理读 0 次,预读 0 次。

有索引情况下,insert速度一定有影响,不过:

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-2-5”

2、只要建立索引就能显著提高查询速度

order by gid asc

1.select gid,title,fariqi,reader from tgongwen where reader
like ”%” + ”刑侦支队” + ”%” and fariqi>”2004-5-5”

介绍完SARG后,我们来总结一下使用SARG以及在实践中遇到的和某些资料上结论不同的经验:

注:文章来源与网络,仅供读者参考!

1.select count(title) from Tgongwen

Name=’张三’

2、or 会引起全表扫描

最早较好地实现这种根据页面大小和页码来提取数据的方法大概就是“俄罗斯存储过程”。这个存储过程用了游标,由于游标的局限性,所以这个方法并没有得到大家的普遍认可。

1、Like语句是否属于SARG取决于所使用的通配符的类型

三、结合实际,谈索引使用的误区

表 ”titles”。扫描计数
1,逻辑读 2 次,物理读 0 次,预读 0 次。

在上一节的标题中,笔者写的是:实现小数据量和海量数据的通用分页显示存储过程。这是因为在将本存储过程应用于“办公自动化”系统的实践中时,笔者发现这第三种存储过程在小数据量的情况下,有如下现象:

表 ”sales”。扫描计数
18,逻辑读 56 次,物理读 0 次,预读 0 次。

最后需要说明的是,在试验中,我发现用户在进行大数据量查询的时候,对数据库速度影响最大的不是内存大小,而是CPU。在我的P4
2.4机器上试验的时候,查看“资源管理器”,CPU经常出现持续到100%的现象,而内存用量却并没有改变或者说没有大的改变。即使在我们的HP ML 350 G3服务器上试验时,CPU峰值也能达到90%,一般持续在70%左右。

用时:11640毫秒。扫描计数
8,逻辑读 14806 次,物理读 108 次,预读 1144 次。

事实上,我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。如:返回某范围内的数据一项。比如您的某个表有一个时间列,恰好您把聚合索引建立在了该列,这时您查询2004年1月1日至2004年10月1日之间的全部数据时,这个速度就将是很快的,因为您的这本字典正文是按日期进行排序的,聚类索引只需要找到要检索的所有数据中的开头和结尾数据即可;而不像非聚集索引,必须先查到目录中查到每一项数据对应的页码,然后再根据页码查到具体内容。

用时:1500毫秒

所以说,我们要建立一个“适当”的索引体系,特别是对聚合索引的创建,更应精益求精,以使您的数据库能得到高性能的发挥。

用时:7秒,另外:扫描计数
4,逻辑读 7155 次,物理读 0 次,预读 0 次。

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi>”2004-1-1” order by fariqi

Name=’张三’ and 价格>5000

第1条多用在查询优化时,而第2条多用在进行分页时的数据排序。

5、尽量少用NOT

2.where fariqi> dateadd(day,-90,getdate())

但经过试验,笔者发现如果or两边的查询列是一样的话,那么用union则反倒和用or的执行速度差很多,虽然这里union扫描的是索引,而or扫描的是全表。 

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16”

而:name like ‘%张’
,就不属于SARG。

)聚集索引的重要性和如何选择聚集索引

1.select top 10000 gid,fariqi from tgongwen order by gid desc

我当时看到这篇文章的时候,真的是精神为之一振,觉得思路非常得好。等到后来,我在作办公自动化系统(ASP.NET+
C#+SQL
SERVER)的时候,忽然想起了这篇文章,我想如果把这个语句改造一下,这就可能是一个非常好的分页存储过程。于是我就满网上找这篇文章,没想到,文章还没找到,却找到了一篇根据此语句写的一个分页存储过程,这个存储过程也是目前较为流行的一种分页存储过程,我很后悔没有争先把这段文字改造成存储过程:

union

有了这个时间型聚集索引列之后,用户就既可以用这个列查找用户在插入数据时的某个时间段的查询,又可以作为唯一列来实现max或min,成为分页算法的参照物。

用时:3140毫秒

通常,办公自动化的首页会显示每个用户尚未签收的文件或会议。虽然我们的where语句可以仅仅限制当前用户尚未签收的情况,但如果您的系统已建立了很长时间,并且数据量很大,那么,每次每个用户打开首页的时候都进行一次全表扫描,这样做意义是不大的,绝大多数的用户1个月前的文件都已经浏览过了,这样做只能徒增数据库的开销而已。事实上,我们完全可以让用户打开系统首页时,数据库仅仅查询这个用户近3个月来未阅览的文件,通过“日期”这个字段来限制表扫描,提高查询速度。如果您的办公自动化系统已经建立的2年,那么您的首页显示速度理论上将是原来速度8倍,甚至更快。

5000<价格

Name=’张三’ and 价格>5000

Name=’张三’

1.(1)select gid,fariqi,neibuyonghu,title from Tgongwen where
fariqi>”2004-5-5”

1.select gid,title,fariqi,reader from tgongwen where
charindex(”刑侦支队”,reader)>0 and fariqi>”2004-5-5”

SQL SERVER也会认为是SARG,SQL SERVER会将此式转化为:

select top 10000 gid,fariqi,title from tgongwen

12、高效的TOP

事实上,在查询和提取超大容量的数据集时,影响数据库响应时间的最大因素不是数据查找,而是物理的I/0操作。如:

4、日期列不会因为有分秒的输入而减慢查询速度

1.(1)select title,price from titles where title_id in (select
title_id from sales where qty>30)

)实现小数据量和海量数据的通用分页显示存储过程

SQL SERVER也会认为是SARG,SQL SERVER会将此式转化为:

Name=’张三’ and 价格>5000 符号SARG,而:Name=’张三’ or 价格>5000
则不符合SARG。使用or会引起全表扫描。

语句:

很多资料上都显示说,exists要比in的执行效率要高,同时应尽可能的用not
exists来代替not
in。但事实上,我试验了一下,发现二者无论是前面带不带not,二者之间的执行效率都是一样的。因为涉及子查询,我们试验这次用SQL
SERVER自带的pubs数据库。运行前我们可以把SQL SERVER的statistics
I/O状态打开:

列名 操作符 <常数 或
变量>或<常数 或 变量> 操作符列名

我们来看:(gid是主键,fariqi是聚合索引列):

用时:68秒。扫描计数
1,逻辑读 404008 次,物理读 283 次,预读 392163 次。

1.Select top 10 * from table1 where id>200

于是就有了如下分页方案:

1.select top 页大小 *

2.from table1

3.where id>

4.(select max (id) from

5.(select top ((页码-1)*页大小) id from table1 order by id) as T

6.)

7.order by id

1.select gid,title,fariqi,reader from tgongwen where reader
like ”%” + ”刑侦支队” + ”%” and fariqi>”2004-5-5”

1.select top 10000 gid,fariqi,title from tgongwen order by gid desc

我们从此可以看到用exists和用in的执行效率是一样的。

图片 3图片 4

用时:52050毫秒

在前面的讨论中我们已经提到了,聚集索引有两个最大的优势:

1.select * from table1 where name=”zhangsan” and tID >
10000和执行select * from table1 where tID > 10000 and
name=”zhangsan”

事实上,在查询和提取超大容量的数据集时,影响数据库响应时间的最大因素不是数据查找,而是物理的I/0操作。如:

用时:4720毫秒。 扫描计数
1,逻辑读 41956 次,物理读 0 次,预读 1287 次。

这条语句,从理论上讲,整条语句的执行时间应该比子句的执行时间长,但事实相反。因为,子句执行后返回的是10000条记录,而整条语句仅返回10条语句,所以影响数据库响应时间最大的因素是物理I/O操作。而限制物理I/O操作此处的最有效方法之一就是使用TOP关键词了。TOP关键词是SQL
SERVER中经过系统优化过的一个用来提取前几条或前几个百分比数据的词。经笔者在实践中的应用,发现TOP确实很好用,效率也很高。但这个词在另外一个大型数据库ORACLE中却没有,这不能说不是一个遗憾,虽然在ORACLE中可以用其他方法(如:rownumber)来解决。在以后的关于“实现千万级数据的分页显示存储过程”的讨论中,我们就将用到TOP这个关键词。

WHERE 价格>2500/2

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by
fariqi

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
gid>9990000

1.select count(fariqi) from Tgongwen

1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid
desc

在选择即不重复值,又容易分辨大小的列时,我们通常会选择主键。下表列出了笔者用有着1000万数据的办公自动化系统中的表,在以GID(GID是主键,但并不是聚集索引。)为排序列、提取gid,fariqi,title字段,分别以第1、10、100、500、1000、1万、10万、25万、50万页为例,测试以上三种分页方案的执行速度:(单位:毫秒)

1.select count(fariqi) from Tgongwen

SARG的定义:用于限制搜索的一个操作,因为它通常是指一个特定的匹配,一个值得范围内的匹配或者两个以上条件的AND连接。形式如下:

在查询分析阶段,查询优化器查看查询的每个阶段并决定限制需要扫描的数据量是否有用。如果一个阶段可以被用作一个扫描参数(SARG),那么就称之为可优化的,并且可以利用索引快速获得所需数据。

1.(3)select gid,fariqi,neibuyonghu,title from Tgongwen where
neibuyonghu=”办公室”

10、count(*)不比count(字段)慢

4、IN 的作用相当与OR

1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid
asc

表 ”sales”。扫描计数 18,逻辑读 56 次,物理读 0 次,预读 0 次。

where neibuyonghu=”办公室”

01.CREATE PROCEDURE pagination2

02.(

03.@SQL nVARCHAR(4000), --不带排序语句的SQL语句

04.@Page int, --页码

05.@RecsPerPage int, --每页容纳的记录数

06.@ID VARCHAR(255), --需要排序的不重复的ID号

07.@Sort VARCHAR(255) --排序字段及规则

08.)

09.AS

10. 

11.DECLARE @Str nVARCHAR(4000)

12. 

13.SET @Str=''SELECT TOP ''+CAST(@RecsPerPage AS VARCHAR(20))+'' * FROM

14.(''+@SQL+'') T WHERE T.''+@ID+''NOT IN (SELECT TOP''+CAST((@RecsPerPage*(@Page-1))

15.AS VARCHAR(20))+'' ''+@ID+'' FROM (''+@SQL+'') T9 ORDER BY''+@Sort+'') ORDER BY ''+@Sort

16. 

17.PRINT @Str

18. 

19.EXEC sp_ExecuteSql @Str

20.GO

其实,以上语句可以简化为:

1.SELECT TOP 页大小 *

2.FROM Table1 WHERE (ID NOT IN (SELECT TOP 页大小*页数 id FROM 表 ORDER BY id))

3.ORDER BY ID

但这个存储过程有一个致命的缺点,就是它含有NOT IN字样。虽然我可以把它改造为:

1.SELECT TOP 页大小 *

2.FROM Table1 WHERE not exists

3.(select * from (select top (页大小*页数) * from table1 order by id) b where b.id=a.id )

4.order by id

很多人不知道SQL语句在SQL
SERVER中是如何执行的,他们担心自己所写的SQL语句会被SQL
SERVER误解。比如:

3.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-2-5”

Name like ‘%三’

11、order by按聚集索引列排序效率最高

一些人不知道以上两条语句的执行效率是否一样,因为如果简单的从语句先后上看,这两个语句的确是不一样,如果tID是一个聚合索引,那么后一句仅仅从表的10000条以后的记录中查找就行了;而前一句则要先从全表中查找看有几个name=”zhangsan”的,而后再根据限制条件条件tID>10000来提出查询结果。

在这里之所以提到“理论上”三字,是因为如果您的聚集索引还是盲目地建在ID这个主键上时,您的查询速度是没有这么高的,即使您在“日期”这个字段上建立的索引(非聚合索引)。下面我们就来看一下在1000万条数据量的情况下各种查询的速度表现(3个月内的数据为25万条):

WHERE 价格*2>5000

为解决这个矛盾,笔者后来又添加了一个日期列,其默认值为getdate()。用户在写入记录时,这个列自动写入当时的时间,时间精确到毫秒。即使这样,为了避免可能性很小的重合,还要在此列上创建UNIQUE约束。将此日期列作为聚集索引列。

ABS(价格)<5000

5000<价格

用时:6423毫秒。扫描计数
2,逻辑读 14726 次,物理读 1 次,预读 7176 次。

Select * from table1 where tid in (2,3)和Select * from table1 where
tid=2 or tid=3

9、字段提取要按照“需多少、提多少”的原则,避免“select *”

同时,按照某个字段进行排序的时候,无论是正序还是倒序,速度是基本相当的。

1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where
fariqi=”2004-9-16”

1.select top 10000 gid,fariqi,reader,title from tgongwen

原因是通配符%在字符串的开通使得索引无法使用。

原因是通配符%在字符串的开通使得索引无法使用。

表 ”titles”。扫描计数
1,逻辑读 2 次,物理读 0 次,预读 0 次。

You can leave a response, or trackback from your own site.

Leave a Reply

网站地图xml地图