mongo去重

import pymongo
# 连接数据库
client = pymongo.MongoClient(&＃39;mongodb://127.0.0.1:27017&＃39;)
db = client.Tendering
collection = db.test
# 选中所有不重复的id
for item in collection.distinct(&＃39;id&＃39;):# 复制第一条id相同的数据repeating = collection.find_one({&＃39;id&＃39;: item})# 删除所有id相同的数据result = collection.delete_many({&＃39;id&＃39;: item})# 把刚刚复制的数据加入一条到数据库collection.insert_one(repeating)

pymongo的distinct方法

db.subway.aggregate([
    {
        $group:{_id:{content:&＃39;$name&＃39;},count:{$sum:1},dups:{$addToSet:&＃39;$_id&＃39;}}
    },
    {
        $match:{count:{$gt:1}}
    }

    ]).forEach(function(it){

         it.dups.shift();
            db.subway.remove({_id: {$in: it.dups}});

    });

db.subway.aggregate([{$group:{_id:{content:&＃39;$name&＃39;},count:{$sum:1},dups:{$addToSet:&＃39;$_id&＃39;}}},{$match:{count:{$gt:1}}}]).forEach(function(it){it.dups.shift();db.subway.remove({_id: {$in: it.dups}});});