热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

cdh添加Kafka服务配置项注意事项

一、安装准备:下载对应版本所需软件:①kafkacsd包,下载地址:http:archive.cloudera.comcsdskafka②kafkaparcel包:地址:http:

一、安装准备:
下载对应版本所需软件:
①kafka csd包,下载地址:http://archive.cloudera.com/csds/kafka/
②kafka parcel包:
地址:http://archive.cloudera.com/kafka/parcels/latest/,根据操作系统,下载对应的包
二、开始安装
1.上传kafka
注意,以下操作,需要在你CDH的所有机器执行,不然待会检测不到。
①上传CSD包KAFKA-1.2.0.jar,到服务器CDH目录下,路径为/opt/cloudera/csd
②上传parcel包中的那3个文件,到目录/opt/cloudera/parcel-repo***意如果有文件重名,如manifest那个文件,把以前的重命名为其他名字
2.分配,**
进入CDH的管理界面,点击主机->parcel->检查新parcel
如果成功,则会看到你的kafka一项,并且有分配按钮,点击分配,等待,然后分配按钮编程**按钮,点击**,等待,操作成功后如下
cdh添加Kafka服务配置项注意事项OK kafka安装完成
三、善后工作
1、安装完成后,便可以在添加服务里,添加kafka服务了。这里如果遇到最后一步,启动kafka的时候,失败报错如下:
Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at kafka.log.SkimpyOffsetMap.(OffsetMap.scala:43) at kafka.log.LogCleaner$CleanerThread.(LogCleaner.scala:186) at kafka.log.LogCleaner
anonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaner
anonfun$1.apply(LogCleaner.scala:83)
这是因为 Java Heap Size配置小了(奇怪的是安装kafka的时候没提示设置),这里如下解决:
回到CDH主页面,点击kafka,进入配置页面,修改 Java Heap Size of Broker为1G,如下图所示,然后保存,重启KAFKA
cdh添加Kafka服务配置项注意事项

2、kafka.common.InconsistentBrokerIdException: Configured broker.id 77 doesn’t match stored broker.id 73 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).
这是因为broker id不匹配
回到CDH主页面,点击kafka,进入配置页面,修改 Broker ID为对应值,如下图所示,然后保存,重启KAFKA
cdh添加Kafka服务配置项注意事项
3、配置情况如下:
Destination Brokers List:master:9092,node01:9092,node02:9092(逗号分隔)
Source Brokers List:master:9092,node01:9092,node02:9092(逗号分隔)
Topic Whitelist:master:9092(如果不添加白名单,可能会出现“whitelist must be specified when using new consumer in mirror maker”的错误)


推荐阅读
author-avatar
手机用户2702935165
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有