Jafka源码粗略解读之四log及其他

这几天琢磨其他的东西&＃xff0c;Jafka源码搁置了&＃xff0c;对其解读已经失去了兴趣。为了给自己一个交代&＃xff0c;还是写个结尾系列吧。

log

Log模块并非是log4j一套&＃xff0c;而是Jafka的消息持久化系统&＃xff0c;当初一扫而过&＃xff0c;这么精华的部分竟然没注意到。

不过所谓O(1)的持久化效率而并非多么复杂&＃xff0c;其实就是在offset处append而已。这个最重要的部分&＃xff0c;现在算是弄清楚了。

剩余部分都没有仔细读过源码&＃xff0c;有些是从rockybean的博客中直接看的。

Jafka对NIO这块的使用&＃xff0c;相当值得参考和借鉴。不过对一些细节的处理&＃xff0c;只有自己真正开发相关功能才能体会&＃xff0c;于是决定先搁置了。

关于MetaQ

MetaQ据说是淘宝内部的MQ&＃xff0c;在Kafka上做了改进&＃xff0c;可以看成跟Jafka同源。clone了一份MetaQ的代码&＃xff0c;https://github.com/killme2008/Metamorphosis&＃xff0c;粗略看了一下&＃xff0c;看得出来是公司级别的开发&＃xff0c;并非为开源而生&＃xff0c;所以精细程度不如Jafka(指代码级别的技巧)&＃xff0c;但是各种接口定义要更清晰一点。

找了MetaQ的文档&＃xff0c;对于MQ的特性和问题&＃xff0c;做了一些总结&＃xff0c;好好读了一遍&＃xff1a; http://alibaba.github.io/metaq/document/design/design.pdf

有几个东西&＃xff0c;确实是实践出真知&＃xff1a;

• 关于MQ的优先级

  MetaQ支持在内存中排序&＃xff0c;但是放弃了磁盘系统的排序。

• 关于重复消费(Exactly And Only Once)

  保证送达&＃xff0c;不保证不重复&＃xff0c;而在业务中判断重复&＃xff0c;消息消费具有幂等性。

MetaQ在消息回溯时&＃xff0c;使用了时间做offset。时间真是个好东西&＃xff0c;分布式的排序和一致性&＃xff0c;靠这个省了好多事。twitter的UUID服务Snowflake也用到了这个玩意&＃xff0c;我在做邮件调度的时候也用到了这个东西&＃xff0c;实在是好用得很。