博客园_闪电

存储优化 - 删除重复记录只保留单条

2010-03-17T16:40:00Z

由于前端提交处理做的不到位或者数据库设计的不够合理，库中通常会存在一些冗余数据，比如重复记录就是一种，那这样的记录如何删除呢？

我们先看一下相关数据结构的知识。

在学习线性表的时候，曾有这样一个例题。

已知一个存储整数的顺序表La，试构造顺序表Lb，要求顺序表Lb中只包含顺序表La中所有值不相同的数据元素。
算法思路：
先把顺序表La的第一个元素付给顺序表Lb，然后从顺序表La的第2个元素起，每一个元素与顺序表Lb中的每一个元素进行比较，如果不相同，则把该元素附加到顺序表Lb的末尾。

 1         public SeqList<int> Purge(SeqList<int> La)
 2         {
 3             SeqList<int> Lb = new SeqList<int>(La.Maxsize);
 4             //将a表中的第1个数据元素赋给b表
 5              Lb.Append(La[0]);
 6             //依次处理a表中的数据元素
 7             for (int i = 1; i <= La.GetLength() - 1; ++i)
 8             {
 9                 int j = 0;
10                 //查看b表中有无与a表中相同的数据元素
11                 for (j = 0; j <= Lb.GetLength() - 1; ++j)
12                 {
13                     //有相同的数据元素
14                     if (La[i].CompareTo(Lb[j]) == 0)
15                     {
16                         break;
17                     }
18                 }
19                 //没有相同的数据元素，将a表中的数据元素附加到b表的末尾。
20                 if (j > Lb.GetLength() - 1)
21                 {
22                     Lb.Append(La[i]);
23                 }
24                 return Lb;
25             }
26         }

如果理解了这个思路，那么数据库中的处理就好办了。

我们可以做一个临时表来解决问题

1 select distinct * into #Tmp from tableName 
2 drop table tableName 
3 select * into tableName from #Tmp 
4 drop table #Tmp

发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

但是你说了，我不想增加任何字段，但这时候又没有显式的标识列，怎么取出标识列呢？（可以是序号列，GUID，等）

上个问题先不讲，先看看这个问题。

我们分别在三种数据库中看一下处理办法，就是通常我们用的Sqlserver2000,Sqlserver2005,Oracle 10g.

1. SQL Server 2000 构造序号列

方法一：SELECT 序号= 
   (SELECT COUNT(客户编号) FROM 客户 AS a WHERE a.客户编号<= b.客户编号), 
    客户编号,公司名称 FROM 客户 AS b ORDER BY 1;
方法二：

SELECT 序号= COUNT(*), 
a.客户编号, a.公司名称 FROM 客户 AS a, 客户 AS b 
WHERE a.客户编号>= b.客户编号 GROUP BY a.客户编号, b.公司名称 ORDER BY 序号;

2. SQL Server 2005 构造序号列

方法一：
SELECT RANK() OVER (ORDER BY 客户编号 DESC) AS 序号, 客户编号,公司名称 FROM 客户;
方法二:
WITH TABLE AS 
     (SELECT ROW_NUMBER() OVER (ORDER BY 客户编号 DESC) AS 序号, 客户编号,公司名称 FROM 客户)
SELECT * FROM TABLE
WHERE 序号 BETWEEN 1 AND 3;

3. Oracle 里 rowid 也可看做默认标识列

在Oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。
在重复的记录中，可能所有列的内容都相同，但rowid不会相同，所以只要确定出重复记录中那些具有最大rowid的就可以了，其余全部删除。

select * from test;
select * from test group by id having count(*)>1
select * from test group by id
select distinct * from test
delete from test a where a.rowid!=(select max(rowid) from test b where a.id=b.id);

扯远了，回到原来的问题，除了采用数据结构的思想来处理，因为数据库特有的事务处理，能够把数据缓存在线程池里，这样也相当于临时表的功能，所以，我们还可以用游标来解决删除重复记录的问题。

 1 declare @max int,
 2         @id int 
 3 declare cur_rows cursor local for select id ,count(*) from test group by id having count(*) > 1 
 4 open cur_rows 
 5 fetch cur_rows into @id ,@max 
 6 while @@fetch_status=0 
 7 begin 
 8     select @max = @max -1  
 9     set rowcount @max      --让这个时候的行数等于少了一行的统计数 
10     delete from test where id = @id 
11     fetch cur_rows into @id ,@max 
12 end 
13 close cur_rows 
14 set rowcount 0

以上是闪电查阅一些资料写出的想法，有考虑不周的地方，欢迎大家指出。

本文链接

数据结构简明备忘录 - 线性表

2010-03-03T14:36:00Z

线性表

线性表是线性结构的抽象，线性结构的特点是结构中的数据元素之间存在一对一的线性关系。
数据元素之间的位置关系是一个接一个的排列：
1.除第一个位置的数据元素外，其他数据元素位置的前面都只有一个数据元素。
2.除最后一个位置的外，其他数据元素位置的后面都只有一个元素。

线性表通常表示为：L=(D,R)
D是数据元素的有限集合
R是数据元素之间关系的有限集合

线性表的基本操作：

 1     public interface IListDS<T> {
 2         int GetLength();                  //求长度
 3          void Clear();                     //清空
 4          bool IsEmpty();                   //判空
 5          void Append(T item);              //附加
 6          void Insert(T item, int i);       //插入
 7          T Delete(int i);                  //删除
 8          T GetElement(int i);              //取表元素
 9          int Locate(T value);              //按值查找
10      }

顺序表

顺序表是线性表的顺序存储(Sequence Storage)，是指在内存中用一块地址连续的空间依次存放线性表的数据元素(Sequence List)，具有随机存取的特点。

w: 每个数据元素占w个存储单元
A1:顺序表的基地址(Base Address)
Loc(Ai)=Loc(A1)+(i-1)*w     1<=i<=n

为了理解顺序表，闪电学习了这样一个例题，有兴趣的朋友可以在自己的机器上写一下。

有数据类型为整型的顺序表La和Lb，其数据元素均按从小到大的升序排列，编写一个算法将它们合并成一个表Lc，要求Lc中数据元素也按升序排列。

算法思路：

依次扫描La和Lb的数据元素，比较La和Lb当前数据元素的值，将较小值的数据元素赋给Lc，如此直到一个顺序表被扫描完，然后将未完的那个顺序表中余下的数据元素赋给Lc即可。Lc的容量要能够容纳La和Lb两个表相加的长度。

思路图示：

  1     public class SeqList<T> : IListDS<T> {
  2         private int maxsize;              //顺序表的容量
  3          private T[] data;                 //数组，用于存储顺序表中的数据元素
  4          private int last;                 //指示顺序表最后一个元素的位置
  5 
  6         //构造器
  7          public SeqList(int size)
  8         {
  9             data = new T[size];
 10             maxsize = size;
 11             last = -1;                    //如果顺序表为空，last=-1
 12          }
 13         //索引器
 14          public T this[int index]
 15         {
 16             get { return data[index]; }
 17             set { data[index] = value; }
 18         }
 19         //最后一个元素的位置属性
 20          public int Last
 21         {
 22             get { return last; }
 23         }
 24         //容量属性
 25         public int Maxsize
 26         {
 27             get { return maxsize; }
 28             set { maxsize = value; }
 29         }
 30         //判断顺序表是否为空
 31         public bool IsEmpty()
 32         {
 33             if (last == -1)
 34                 return true;
 35             else
 36                 return false;
 37         }
 38         //判断顺序表是否为满
 39         public bool IsFull()
 40         {
 41             if (last == maxsize - 1)
 42                 return true;
 43             else
 44                 return false;
 45         }
 46         //求顺序表的长度
 47         public int GetLength()
 48         {
 49             return last + 1;
 50         }
 51         //清空顺序表
 52         public void Clear()
 53         {
 54             last = -1;
 55         }
 56         //在顺序表末尾添加新元素
 57         public void Append(T item)
 58         {
 59             if (IsFull())
 60             {
 61                 Console.WriteLine("List is full.");
 62                 return;
 63             }
 64             data[++last] = item;
 65         }
 66        
 67         //在顺序表第i个数据元素位置插入一个数据元素
 68         public void Insert(T item, int i)
 69         {
 70             if (IsFull())
 71                 return;
 72             if (i < 1 || i > last + 2)
 73                 return;
 74             if (i == last + 2)
 75                 data[last + 1] = item;
 76             else
 77             {
 78                 for (int j = last; j >= i - 1; --j)
 79                 {
 80                     data[j + 1] = data[j];
 81                 }
 82                 data[i - 1] = item;
 83             }
 84             ++last;
 85         }
 86         //删除顺序表的第i个数据元素
 87         public T Delete(int i)
 88         {
 89             T tmp = default(T);
 90             if (IsEmpty())
 91                 return tmp;
 92             if (i < 1 || i > last + 1)
 93                 return tmp;
 94             if (i == last + 1)
 95                 tmp = data[last--];
 96             else
 97             {
 98                 tmp = data[i - 1];
 99                 for (int j = i; j <= last; ++j)
100                     data[j] = data[j + 1];
101             }
102             --last;
103             return tmp;
104         }
105         //获得顺序表的第i个数据元素
106         public T GetElement(int i)
107         {
108             if (IsEmpty() || (i < 1) || (i > last + 1))
109                 return default(T);
110             return data[i-1];
111         }
112         //在顺序表中查找值为value的数据元素
113         public int Locate(T value)
114         {
115             if (IsEmpty())
116                 return -1;
117             int i = 0;
118             for (i = 0; i <= last; ++i)
119             {
120                 if (value.Equals(data[i]))
121                     break;
122             }
123             if (i > last)
124                 return -1;
125             return i;
126         }
127     }

 1     public class GenericList
 2     {
 3         public GenericList()
 4         { }
 5         public SeqList<int> Merge(SeqList<int> La, SeqList<int> Lb)
 6         {
 7             SeqList<int> Lc = new SeqList<int>(La.Maxsize+Lb.Maxsize);
 8             int i = 0;
 9             int j = 0;
10             int k = 0;
11 
12             //两个表中元素都不为空
13             while ((i <= (La.GetLength() - 1)) && (j <= (Lb.GetLength() - 1)))
14             {
15                 if (La[i] < Lb[j])
16                     Lc.Append(La[i++]);
17                 else
18                     Lc.Append(Lb[j++]);
19             }
20             //a表中还有数据元素
21             while (i <= (La.GetLength() - 1))
22                 Lc.Append(La[i++]);
23             //b表中还有数据元素
24             while (j <= (Lb.GetLength() - 1))
25                 Lc.Append(Lb[j++]);
26             return Lc;
27 
28         }
29     }

客户端代码：

 1         static void Main(string[] args)
 2         {
 3             SeqList<int> sl1 = new SeqList<int>(4);
 4             sl1.Append(1);
 5             sl1.Append(3);
 6             sl1.Append(4);
 7             sl1.Append(7);
 8 
 9             SeqList<int> sl2 = new SeqList<int>(6);
10             sl2.Append(2);
11             sl2.Append(5);
12             sl2.Append(6);
13             sl2.Append(8);
14             sl2.Append(11);
15             sl2.Append(14);
16 
17             GenericList gl = new GenericList();
18             SeqList<int> sl3 = gl.Merge(sl1, sl2);
19             Console.WriteLine("length:" + sl3.GetLength());
20             for (int i = 0; i < sl3.GetLength(); i++)
21             {
22                 Console.WriteLine(i + ":" + sl3[i]);
23             }
24         }

好了，下一次学习链表。

本文链接

Kerberos协议

2009-12-30T12:29:00Z

闪电先讲述一个大家都熟识的故事。话说，孙悟空受蛰，在亭子里懊恼，碰到毗蓝婆菩萨在烧纸，触景生情，想到师傅被抓，自己没能救他出来，也黯然伤神，抢纸烧起来。毗蓝婆菩萨问：小和尚所谓何事？悟空答：婆婆所谓何事？毗蓝婆答：我哭我丈夫. 悟空答：我哭我师傅. 毗蓝婆问其详，悟空述其详。毗蓝婆道：这样好了，我给你一个信物，你去找我儿子昴日星官吧，他看到后自会想办法救你师徒。昴日星官见到银针，验明小和尚就是去西天取经的悟空。于是唐僧脱离蝎子精的魔爪。

闪电咂摸软件隐喻与建模

2008-08-07T15:10:00Z

软件隐喻人们都有幻想的能力，这种幻想带有联系性，如果你具有类比和推理能力，这将是奇妙的。我们做一件事情的时候，总是希望一个结果，这个结果我们可以把它设想成种种事物。用之于软件，我们称之为隐喻。

SPSite、SPWeb对象模型(转winos.cn)

2008-07-31T14:00:00Z

SPSite对象通常在调用SPSite对象构造函数后，你需要在使用完后调用Dispose方法来清空对象。但是，如果你使用SPControl.GetContextSite来获取对象那么你不能使用Dispose来清空对象。因为通过这种方式获得的SPSite或者SPWeb对象会保留一份内部列表信息，当使用Dispose对象后，可能会产生无法预测的错误。实际上，WSS会在页面结束后清空这些对象。下面，我们...

用户登记与满意度评估的业务流程处理

2008-07-30T15:00:00Z

把最近写的用户登记与满意度评估的业务流程处理的感想与大家分享一下.

博客开通了，开卷有益，纪念一下

2007-04-24T13:54:00Z

开通了这个博客，希望成为一个新的起点。