项目中对kafka有所使用&＃xff0c;但一直都是根据公司内部wiki提供的demo来写的&＃xff0c;对kafka有一定了解&＃xff0c;但是可能不够系统&＃xff0c;全面&＃xff1b;于是最近找时间浏览了一下官网对kafka的介绍&＃xff0c;翻译如下&＃xff1a;

一句话概括kafka

kafka是一个具备很强容错能力和实时处理能力的分布式流数据平台。

kafka的应用场景

kafka可在以下场景中应用&＃xff1a;基于流数据的发布订阅消息系统、基于流数据的高效异步通信中间件、基于流数据的高可用分布式存储&＃xff1b;可以替代传统的消息队列和企业级消息系统&＃xff1b;

核心API

核心API有四类&＃xff1a;

1. 生产者API

   一般生产者发布数据到topic&＃xff08;后面会介绍topic&＃xff09;&＃xff0c;
   

2. 消费者API

   消费&＃xff08;处理&＃xff09;发布到topic的数据

3. 流API

   &＃xff08;暂时没研究明白&＃xff0c;这里先跳过&＃xff0c;后面的文章继续写&＃xff09;
   

4. 连接API

   用于kafka和其他系统如mysql、mogodb、hbase等进行数据交互&＃xff1b;

通信协议

客户端与服务器的通信使用的是基于TCP的简单&＃xff0c;高效的并且与语言无关的TCP协议&＃xff01;

主题和日志

一个主题&＃xff08;topic&＃xff09;就是一类数据或者记录的名字&＃xff1b;主题支持多个订阅者订阅&＃xff0c;即一个主题可以被零个&＃xff0c;一个或者多个消费者消费&＃xff0c;处理&＃xff1b;

一个主题会被分成好多个partition&＃xff0c;每一个partition维护着一个log&＃xff1b;主题中每一个partition的记录都有一个顺序的ID 记作&＃xff1a;offset 偏移量&＃xff1b;

kafka集群记录了所有发布的消息&＃xff08;记录&＃xff09;&＃xff0c;无论是否被消费&＃xff08;有一种配置保留时长的机制&＃xff09;&＃xff1b;实际上唯一的元数据保留在消费者那里&＃xff0c;元数据仅仅记录了消费者在partition的便宜量&＃xff0c;或者消费记录的ID&＃xff1b;这样以来&＃xff0c;消费就可以由消费者自己控制。消费者可以设置这个偏移量。

主题被分为patition的意义在于两方面&＃xff1a;一个是数据横向扩展行&＃xff0c;另一个是消费的并发性能的提升;

每一个partition的数据在kafka集群中都是有备份的。每一个partition都有一个server作为leader&＃xff0c;其他的作为follower&＃xff1b;leader负责读写请求&＃xff0c;follower负责同步leader的数据; 每一个服务器都扮演一个或多个partition的leader角色&＃xff0c;和一些个partition的follower角色&＃xff0c;有利于负载均衡。