hadoop中的序列化和反序列化

谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化

1&＃xff09;序列化和反序列化

序列化就是把内存中的对象&＃xff0c;转换成字节序列&＃xff08;或其他数据传输协议&＃xff09;以便于存储&＃xff08;持久化&＃xff09;和网络传输。 

反序列化就是将收到字节序列&＃xff08;或其他数据传输协议&＃xff09;或者是硬盘的持久化数据&＃xff0c;转换成内存中的对象。

Java的序列化是一个重量级序列化框架&＃xff08;Serializable&＃xff09;&＃xff0c;一个对象被序列化后&＃xff0c;会附带很多额外的信息&＃xff08;各种校验信息&＃xff0c;header&＃xff0c;继承体系等&＃xff09;&＃xff0c;不便于在网络中高效传输。所以&＃xff0c;hadoop自己开发了一套序列化机制&＃xff08;Writable&＃xff09;&＃xff0c;精简、高效。

2&＃xff09;自定义bean对象要想序列化传输步骤及注意事项&＃xff1a;。

&＃xff08;1&＃xff09;必须实现Writable接口

&＃xff08;2&＃xff09;反序列化时&＃xff0c;需要反射调用空参构造函数&＃xff0c;所以必须有空参构造

&＃xff08;3&＃xff09;重写序列化方法

&＃xff08;4&＃xff09;重写反序列化方法

&＃xff08;5&＃xff09;注意反序列化的顺序和序列化的顺序完全一致

&＃xff08;6&＃xff09;要想把结果显示在文件中&＃xff0c;需要重写toString()&＃xff0c;且用”\t”分开&＃xff0c;方便后续用

&＃xff08;7&＃xff09;如果需要将自定义的bean放在key中传输&＃xff0c;则还需要实现comparable接口&＃xff0c;因为mapreduce框中的shuffle过程一定会对key进行排序