探究大数据环境下Kafka实现高性能的几个关键因素

Kafka的消息是保存或缓存在磁盘上的&＃xff0c;你可能会认为&＃xff1a;在磁盘上读写数据是会降低性能的&＃xff0c;因为寻址会比较消耗时间。事实上&＃xff0c;磁盘读写的快慢取决于你怎么使用它了&＃xff08;顺序读写、随机读写&＃xff09;。

Kafka的设计目标是高吞吐量&＃xff0c;它比其它消息系统快的原因体现在以下几方面&＃xff1a;

1、Kafka操作的是序列文件I / O&＃xff08;序列文件的特征是按顺序写&＃xff0c;按顺序读&＃xff09;&＃xff0c;为保证顺序&＃xff0c;Kafka强制点对点的按顺序传递消息&＃xff0c;这意味着&＃xff0c;一个consumer在消息流&＃xff08;或分区&＃xff09;中只有一个位置。

2、Kafka不保存消息的状态&＃xff0c;即消息是否被“消费”。一般的消息系统需要保存消息的状态&＃xff0c;并且还需要以随机访问的形式更新消息的状态。而Kafka 的做法是保存Consumer在Topic分区中的位置offset&＃xff0c;在offset之前的消息是已被“消费”的&＃xff0c;在offset之后则为未“消费”的&＃xff0c;并且offset是可以任意移动的&＃xff0c;这样就消除了大部分的随机IO。

3、Kafka支持点对点的批量消息传递。

4、Kafka的消息存储在OS pagecache&＃xff08;页缓存&＃xff0c;page cache的大小为一页&＃xff0c;通常为4K&＃xff0c;在Linux读写文件时&＃xff0c;它用于缓存文件的逻辑内容&＃xff0c;从而加快对磁盘上映像和数据的访问&＃xff09;。