博客园_星际迷茫

关于怎么在10万个手机号码中选择重复号码的问题(目前最高效的算法)

2011-07-21T14:32:00Z

刚好晚上有空，也写了一个算法。

Dictionary<int, int> dic = new Dictionary<int, int>();
            int count3 = 0;

            foreach (var item in mobileArray)
            {
                var hashCode = item.GetHashCode();
                int outInt = 0;

                if (dic.TryGetValue(hashCode, out outInt))
                {
                    if (outInt == 1)
                    {
                        count3++;
                        dic[hashCode] = 2;
                    }
                }
                else
                    dic[hashCode] = 1;

            }

有下面几点需要注意：

Dictionary的Key本身是hash，效率很高
相同的字符串在.net实际上是同一个地址，所以GetHashCode是一样的。

效果：

欢迎各位高手弄出个更快的算法

所有代码

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace 手机号码重复算法
{
    unsafe class Program
    {
        static void Main(string[] args)
        {
            //示例数组，存放手机号
            string[] mobileArray = new string[100000];// { "13900001234", "13900001235", "13900001236", "13900001237", "13900001234" };

            for (int i = 0; i < 100000; i++)
            {
                mobileArray[i] = "1390000"
                    + (i.ToString().Length > 4 ? i.ToString().Substring(0, 4) : (i.ToString() + "0000").Substring(0, 4));
            }

            ////linq语句来实现【select mobile from tmpTable group by mobile having count(*)>1】的效果
            var selMobile = from n in mobileArray group n by n into g where g.Count() > 1 select g.Distinct();// select g;

            System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();
            sw.Reset();
            sw.Start();
            int count1 = 0;
            //通过两层循环输出重复的手机号
            foreach (var mobile in selMobile)
            {
                foreach (string multiMobile in mobile)
                {
                    count1++;
                    //Console.WriteLine(multiMobile);
                }
            }

            sw.Stop();

            Console.WriteLine("Linq共有重复号" + count1 + "耗时" + sw.ElapsedMilliseconds);

            TenNodeTree tree = new TenNodeTree();
            TenNodeTree tree2 = new TenNodeTree();

            sw.Reset();
            sw.Start();
            int count2 = 0;
            //mobileArray = new string[] { "13900001234", "13900001235", "13900001236", "13900001237", "13900001234", "13900001236" };

            foreach (var item in mobileArray)
            {
                fixed (char* no = item)
                {
                    if (!tree.Add(no, 11))
                    {
                        if (tree2.Add(no, 11))
                        {
                            count2++;
                        }
                    }
                }

            }

            sw.Stop();

            Console.WriteLine("十叉树共有重复号" + count1 + "耗时" + sw.ElapsedMilliseconds);

            sw.Restart();
            Dictionary<int, int> dic = new Dictionary<int, int>();
            int count3 = 0;

            foreach (var item in mobileArray)
            {
                var hashCode = item.GetHashCode();
                int outInt = 0;

                if (dic.TryGetValue(hashCode, out outInt))
                {
                    if (outInt == 1)
                    {
                        count3++;
                        dic[hashCode] = 2;
                    }
                }
                else
                    dic[hashCode] = 1;

            }



            sw.Stop();
            Console.WriteLine("hash计算共有重复号" + count3 + "耗时" + sw.ElapsedMilliseconds);

            Console.ReadLine();

        }

        class TenNodeTree
        {
            public TenNode Root = new TenNode();

            public bool Add(char* no, int len)
            {
                TenNode cnode = Root;
                bool isadd = false;

                for (int i = 0; i < len; i++)
                {
                    char k = *no;

                    if (cnode.Child[k - 48] == null)
                    {
                        isadd = true;
                        cnode.Child[k - 48] = new TenNode();
                    }
                    cnode = cnode.Child[k - 48];

                    no++;

                }

                return isadd;

            }

        }

        class TenNode
        {
            public TenNode[] Child = new TenNode[10];
        }

    }
}

本文链接

正则表达式的笔记

2010-05-17T05:07:00Z

正则表达式的开发一定要使用工具（除非特别简单的），推荐RegExBuilder.
最难以理解的是零宽断言和组,其中捕获组说明如下

　　(?'group') 把捕获的内容命名为group,并压入堆栈(Stack)

　　(?'-group') 从堆栈上弹出最后压入堆栈的名为group的捕获内容，如果堆栈本来为空，则本分组的匹配失败

　　(?(group)yes|no) 如果堆栈上存在以名为group的捕获内容的话，继续匹配yes部分的表达式，否则继续匹配no部分

　　(?!) 零宽负向先行断言，由于没有后缀表达式，试图匹配总是失败

3. 正则表达式的本身，是（位置+长度）的匹配，而且匹配的部分，要满足正则表达式位置的连续。而零宽断言中的

(?=exp)

匹配exp前面的位置

(?<=exp)

匹配exp后面的位置

都是匹配位置。

4.经过艰苦的思考，发现(?<=exp)的exp部分是从右向左匹配字符串的。

比如，下面的正则表达式，因为(?(t)(?'f'')|(?'x'"))* 先执行，会给x的组加上匹配，这样会导致(?(x)()|())，只会执行红色的部分。

(?<=^[^'"]*
(?(x)()|())
[^'"]*
(?(t)(?'f'')|(?'x'"))*
[^'"]*
)
1

5. <的都应该出现在前面，比如

(?<!exp)

匹配前面不是exp的位置

(?<=exp)

匹配exp后面的位置

本文链接

做一个优秀的PM（1）--论赞美和尊重

2010-02-09T12:09:00Z

最近一个进项目组时间不长的员工完成一个较为复杂的js代码给我查看，我看了以后，提出了些待改进的问题就走了。刚走了没有多久，听到这个员工小声对旁边的人说：X 哥都不表扬我。成功学大师卡耐基的著作“人性的弱点”前几章重点讲述了赞美的意义，（第一章，做个批评的吝啬鬼，第二章，给别人留足面子，第三章，用赞美来激励他人，第四章不要对别人的优点视而不见）。他在文章里说：“我...

javascript 107条常用语句

2009-11-22T16:04:00Z

1. document.write( " "); 输出语句 2.JS中的注释为// 3.传统的HTML文档顺序是:document- >html- >(head,body) 4.一个浏览器窗口中的DOM顺序是:window- >(navigator,screen,history,location,document) 5.得到表单中元素的名称和值:document.getEleme...

关于Monitor的Enter,Exit, Wait 和Pulse

2009-11-19T05:38:00Z

这两个概念困扰了我很久，这次项目中需要，只能把它去搞懂了。Monitor是一个C#中常用的同步代码的类。首先要明白，Monitor维护两个队列，就绪队列和等待队列。就绪队列里面的线程会在其他线程A退出（Exit）或者A进入等待(Wait)的时候执行，而等待队列里面线程只会在其他线程A调用Pulse方法的时候被加到就绪队列中，然后在A调用Exit或者Wait的时候在执行。Monitor.Enter ...

Web安全和ViewStateUserKey

2009-11-17T15:57:00Z

今天观察一个代码的时候看到有一条语句if ((Session != null) && (!string.IsNullOrEmpty(Session.SessionID))) { ViewStateUserKey = Session.SessionID; }于是就进行了google，发现下面的文章。ViewStateUserKey从 ASP.NET 1.1 开始引入，ViewStat...