Erlang里实现MapReduce

Java代码

1. -module(pmap).
2. -export([pmap/2]).
4. pmap(F, L) ->
5. S &＃61; self(),
6. Pids &＃61; lists:map(fun(I) ->
7. spawn(fun() -> do_fun(S, F, I) end)
8. end, L),
9. gather(Pids).
11. gather([H|T]) ->
12. receive
13. {H, Result} -> [Result|gather(T)]
14. end;
15. gather([]) ->
16. [].
18. do_fun(Parent, F, I) ->
19. Parent ! {self(), (catch F(I))}.

-module(pmap).
-export([pmap/2]).pmap(F, L) -> S &＃61; self(),Pids &＃61; lists:map(fun(I) -> spawn(fun() -> do_fun(S, F, I) end)end, L),gather(Pids).gather([H|T]) ->receive{H, Result} -> [Result|gather(T)]end;
gather([]) ->[].do_fun(Parent, F, I) -> Parent ! {self(), (catch F(I))}.

pmap的原理也很简单&＃xff0c;对List的每项元素的Fun调用都spawn一个process来实际处理&＃xff0c;然后再调用gather来收集结果。

如此简洁的代码就实现了基本的MapReduce&＃xff0c;不得不服Erlang&＃xff01;

下面是一个fib的示例调用&＃xff1a;
fib.erl

Java代码

1. -module(fib).
2. -export([fib/1]).
4. fib(0) -> 0;
5. fib(1) -> 1;
6. fib(N) when N > 1 -> fib(N-1) &＃43; fib(N-2).

-module(fib).
-export([fib/1]).fib(0) -> 0;
fib(1) -> 1;
fib(N) when N > 1 -> fib(N-1) &＃43; fib(N-2).


编译好之后比较一下lists:map/2和pmap:pmap/2的执行效率&＃xff1a;

Java代码

1. Eshell > L &＃61; lists:seq(0,35).
2. Eshell > lists:map(fun(X) -> fib:fib(X) end, L).
3. Eshell > pmap:pmap(fun(X) -> fib:fib(X) end, L).

Eshell > L &＃61; lists:seq(0,35).
Eshell > lists:map(fun(X) -> fib:fib(X) end, L).
Eshell > pmap:pmap(fun(X) -> fib:fib(X) end, L).

测试结果lists:map执行时间大概4s&＃xff0c;pmap:pmap执行时间大概2s&＃xff0c;节约了一半的时间&＃xff0c;呵呵。