千万级数据表中高效去除重复记录的方法与策略

于前期的问题&＃xff0c;在历史交易表中出现了部分重复交易&＃xff0c;现在需要整理该表。   
   我一开始打算建一个临时表&＃xff0c;用sqlserver    odbc    导入导出数据的办法使用select    distinct    *    的语句将数据导入临时表&＃xff0c;修改临时表名的办法&＃xff0c;在实际操作过程中发现通过语句操作实际上需要将表中的记录先做select    然后写入临时表中&＃xff0c;考虑到记录数和机器性能的问题&＃xff0c;这种做法可行性不高。   
   交易表的基本情况是这样的&＃xff1a;   
   每条记录约有60个字段&＃xff0c;长度超过1k&＃xff0c;   
   总共记录1000w&＃xff0c;重复记录约在5000-10000   

 

1.    选择候选键&＃xff0c;60个字段&＃xff0c;应该只用其中几个就可以判断重复了吧。   
   在候选键的这些字段上建立索引。   
   2.     
   CREATE    TRIGGER    tr_历史交易表   
   ON    历史交易表   
   FOR    DELETE     
   AS     
   INSERT    INTO    历史交易表   
   SELECT    DISTINCT    *    FROM    deleted   
   GO     
    
   DELETE    历史交易表   
   FROM    (   
   SELECT    候选键1,    候选键2,    候选键3   
   FROM    历史交易表   
   GROUP    BY    候选键1,    候选键2,    候选键3   
   HAVING    COUNT(*)    >    1   
   )    t   
   INNER    JOIN    历史交易表    a     
   ON    t.候选键1    &＃61;    a.候选键1     
   AND    t.候选键2    &＃61;    a.候选键2     
   AND    t.候选键3    &＃61;    a.候选键3

 

2.还可以是这样&＃xff1a;   
   SELECT    DISTINCT    a.*   
   INTO    #T   
   FROM    (   
   SELECT    候选键1,    候选键2,    候选键3   
   FROM    历史交易表   
   GROUP    BY    候选键1,    候选键2,    候选键3   
   HAVING    COUNT(*)    >    1   
   )    t   
   INNER    JOIN    历史交易表    a     
   ON    t.候选键1    &＃61;    a.候选键1     
   AND    t.候选键2    &＃61;    a.候选键2     
   AND    t.候选键3    &＃61;    a.候选键3   
    
   DELETE    历史交易表   
   FROM    (   
   SELECT    候选键1,    候选键2,    候选键3   
   FROM    历史交易表   
   GROUP    BY    候选键1,    候选键2,    候选键3   
   HAVING    COUNT(*)    >    1   
   )    t   
   INNER    JOIN    历史交易表    a     
   ON    t.候选键1    &＃61;    a.候选键1     
   AND    t.候选键2    &＃61;    a.候选键2     
   AND    t.候选键3    &＃61;    a.候选键3   
    
   INSERT    INTO    历史交易表   
   SELECT    *    FROM    #T