在NodeJs中使用MongoDB中的MapReduce

   MapReduce是一个编程模型&＃xff0c;封装了并行计算、容错、数据分布、负载均衡等细节问题。

   输入是一个key-value对的集合&＃xff0c;中间输出也是key-value对的集合&＃xff0c;用户使用两个函数&＃xff1a;Map和Reduce。

   主要用来进行统计&＃xff0c;有点像sql中的group  by但是比groupby功能更强大。

官网示例&＃xff1a;http://mongodb.github.com/node-mongodb-native/api-generated/collection.html?highlight&＃61;mapreduce#mapReduce

   假设我们数据库现在存在四个数据如下&＃xff1a;

我用NodeJs写了一段代码&＃xff0c;如下&＃xff1a;

得到的结果如下&＃xff1a;

其中的_id就是对应的上面写的map中的key也就是age字段&＃xff0c;

从统计结果可以看出gender为man的记录中age为20的有两个&＃xff0c;age为23的有1个。

参数说明&＃xff1a;

   mapreduce:要操作的目标集合。

   map: 映射函数 (生成键值对序列&＃xff0c;作为 reduce函数参数)。

   reduce:统计函数。

   query: 一个筛选条件&＃xff0c;只有满足条件的行才会加入mapreduce集合&＃xff0c;而这个筛选过程是先于整个mapreduce流程而执行的。

   sort: 和query结合的sort排序参数(需要排序的参数必须先建立索引&＃xff1a;db.wiki.ensureIndex({title:1}))。

   limit:限制目标记录数量。

   out: 结果输出的collection的名字 (不指定则使用临时集合&＃xff0c;在客户端断开后自动删除。replace、merge、reduce、inline)。参考&＃xff1a;http://www.mongodb.org/display/DOCS/MapReduce

   keeptemp: true或false&＃xff0c;表明结果输出到的collection是否是临时的&＃xff0c;如果为true&＃xff0c;则会在客户端连接中断后自动删除&＃xff0c;如果你用的是MongoDB的mongo客户端连接&＃xff0c;那必须exit后才会删除。如果是脚本执行&＃xff0c;脚本退出或调用close会自动删除结果collection。

   finalize: 和map&＃xff0c;reduce一样是一个函数&＃xff0c;它可以在reduce得出一个结果后再对key和value进行一次计算并返回一个最终结果。参考上面的示例

   scope: 设置参数值&＃xff0c;在这里设置的值在map&＃xff0c;reduce&＃xff0c;finalize函数中可见。

   verbose:在执行过程中的调试信息。

使用out参数时要注意当使用inline时文档的数据不能太大&＃xff0c;否则返回结果将出现错误&＃xff0c;官网说明如下&＃xff1a; Notethat this option is possible only when the result set fits withinthe 16MB limit of a single document.

如果verbose:true的时候callback返回中多一个stats字段&＃xff1a;

返回结果参数如下&＃xff1a;

• result&＃xff1a;储存结果的collection的名字
• input&＃xff1a;满足条件的数据行数
• emit&＃xff1a;emit调用次数&＃xff0c;也就是所有集合中的数据总量
• ouput&＃xff1a;返回结果条数
• timeMillis&＃xff1a;执行时间&＃xff0c;毫秒为单位
• ok&＃xff1a;是否成功&＃xff0c;成功为1
• err&＃xff1a;如果失败&＃xff0c;这里可以有失败原因&＃xff0c;原因一般比较模糊&＃xff0c;作用不大

使用scope参数我们可以在map、reduce、finalize中引入外界函数或变量&＃xff1a;

参考官网教程&＃xff1a;mapReduce

注意&＃xff1a;我在使用中发现当我们map中的value为单个字符&＃xff0c;而reduce返回的为json的时候会出现异常&＃xff0c;且reduce中的value值中字段的数目不相等也会出现异常。所以&＃xff1a;

   1、如果reduce返回的是json格式数据的时候map中的value也得是json格式的

   2、map和reduce中的value值中字段的数目必须相等

如上图中的情况&＃xff0c;得到的结果将出现异常

下面我们看一个例子巩固下上面的知识&＃xff1a;

我先往数据库插入一些数据&＃xff1a;health/routes/add.js

数据结构是这样的&＃xff1a;

{"name":"张三","age":58,"gender":"男","birthday":"1905-12-09","mobile":"15815222297","note":"北京"}
我们现在来统计下刚刚插入的数据的姓名中一共有多少个姓&＃xff0c;每个姓有多少人

所以统计的结构应该是这样的&＃xff1a;key就是姓&＃xff0c;然后value中是统计的人数

先写map函数&＃xff1a;&＃xff08;在map中我们取出每个collections名字中的姓&＃xff09;

var map &＃61; function () {vara&＃61;this.name.substring(0,1);emit(a, {count:1}); //map时姓相同的为一组传给reduce&＃xff0c;传的值中key为name中的姓
};

然后再写一个reduce处理函数&＃xff1a;(统计每个姓的人数)

var reduce &＃61; function (key, values) {var x &＃61; 0;values.forEach(function (v){x &＃43;&＃61; v.count;});return{count:x};//统计出每个姓一共有多少人
};

然后我们用finalize函数根据统计的结果給每个姓写一个comment&＃xff1a;

functionfinalize(key,rval){returncomment(rval);
}

其中comment函数是我从外界引入的所以需要在scope中申明一下 

function comment(input){if(input.count>100){input.comment&＃61;"该姓人数较多&＃xff01;"}return input;
}

然后开始执行统计函数&＃xff1a; health/routes/mapReduces

testProvider.mapReduce(map, reduce, {out:{replace:&＃39;tempCollection&＃39;},scope:{comment:newCode(comment.toString())},finalize:finalize,verbose:true},function (err,collection, stats) {})

然后得出统计结果和统计时的资源使用情况&＃xff1a;