热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Kafka:ZK+Kafka+SparkStreaming集群环境搭建(二十八):kafka0.10.1内置性能测试API用法示例

消费者测试:.kafka-consumer-perf-test.sh--zookeepervm10.60.0.11.com.cn:2181,vm10.60.0.7.com.cn:2

消费者测试:

./kafka-consumer-perf-test.sh --zookeeper vm10.60.0.11.com.cn:2181,vm10.60.0.7.com.cn:2181,vm10.60.0.8.com.cn:2181 --group test-teg1 --messages 50000000 --topic test --threads 8 --message-size 1000
end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
2018-10-11 16:04:44:043, 2018-10-11 16:05:49:560, 4229.5218, 64.5561, 23931694, 365274.5700

生产者测试:

./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic test --num-records 50000000 --record-size 100 --throughput 100000 --producer-props acks=1 bootstrap.servers=vm10.60.0.7.com.cn:9092,vm10.60.0.8.com.cn:9092,vm10.60.0.12.com.cn:9092,vm10.60.0.13.com.cn:9092 buffer.memory=67108864 batch.size=8196 
485142 records sent, 97028.4 records/sec (9.25 MB/sec), 6936.5 ms avg latency, 12667.0 max latency.
337630 records sent, 67526.0 records/sec (6.44 MB/sec), 7173.8 ms avg latency, 12892.0 max latency.
539739 records sent, 107861.5 records/sec (10.29 MB/sec), 6893.6 ms avg latency, 12422.0 max latency.
519729 records sent, 103945.8 records/sec (9.91 MB/sec), 6092.3 ms avg latency, 12278.0 max latency.
456663 records sent, 90107.1 records/sec (8.59 MB/sec), 5697.1 ms avg latency, 11117.0 max latency.
432484 records sent, 86496.8 records/sec (8.25 MB/sec), 6481.3 ms avg latency, 13293.0 max latency.
324879 records sent, 64975.8 records/sec (6.20 MB/sec), 7089.8 ms avg latency, 14868.0 max latency.
517991 records sent, 103598.2 records/sec (9.88 MB/sec), 7504.3 ms avg latency, 14920.0 max latency.
478320 records sent, 94194.6 records/sec (8.98 MB/sec), 6949.2 ms avg latency, 12826.0 max latency.
478230 records sent, 94232.5 records/sec (8.99 MB/sec), 6075.5 ms avg latency, 12400.0 max latency.
431201 records sent, 86240.2 records/sec (8.22 MB/sec), 6492.0 ms avg latency, 11988.0 max latency.
325704 records sent, 65140.8 records/sec (6.21 MB/sec), 8248.2 ms avg latency, 12531.0 max latency.
490254 records sent, 96716.1 records/sec (9.22 MB/sec), 7083.7 ms avg latency, 13378.0 max latency.
466362 records sent, 92734.5 records/sec (8.84 MB/sec), 7065.3 ms avg latency, 12572.0 max latency.
420405 records sent, 84081.0 records/sec (8.02 MB/sec), 6897.7 ms avg latency, 11279.0 max latency.
444416 records sent, 88883.2 records/sec (8.48 MB/sec), 6607.1 ms avg latency, 11112.0 max latency.
502765 records sent, 100553.0 records/sec (9.59 MB/sec), 6767.4 ms avg latency, 11248.0 max latency.
387823 records sent, 77564.6 records/sec (7.40 MB/sec), 7328.2 ms avg latency, 10982.0 max latency.

 


推荐阅读
  • Voicewo在线语音识别转换jQuery插件的特点和示例
    本文介绍了一款名为Voicewo的在线语音识别转换jQuery插件,该插件具有快速、架构、风格、扩展和兼容等特点,适合在互联网应用中使用。同时还提供了一个快速示例供开发人员参考。 ... [详细]
  • 本文介绍了在Windows环境下如何配置php+apache环境,包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]
  • 如何实现织梦DedeCms全站伪静态
    本文介绍了如何通过修改织梦DedeCms源代码来实现全站伪静态,以提高管理和SEO效果。全站伪静态可以避免重复URL的问题,同时通过使用mod_rewrite伪静态模块和.htaccess正则表达式,可以更好地适应搜索引擎的需求。文章还提到了一些相关的技术和工具,如Ubuntu、qt编程、tomcat端口、爬虫、php request根目录等。 ... [详细]
  • GetWindowLong函数
    今天在看一个代码里头写了GetWindowLong(hwnd,0),我当时就有点费解,靠,上网搜索函数原型说明,死活找不到第 ... [详细]
  • 本文介绍了使用Java实现大数乘法的分治算法,包括输入数据的处理、普通大数乘法的结果和Karatsuba大数乘法的结果。通过改变long类型可以适应不同范围的大数乘法计算。 ... [详细]
  • 本文介绍了C#中生成随机数的三种方法,并分析了其中存在的问题。首先介绍了使用Random类生成随机数的默认方法,但在高并发情况下可能会出现重复的情况。接着通过循环生成了一系列随机数,进一步突显了这个问题。文章指出,随机数生成在任何编程语言中都是必备的功能,但Random类生成的随机数并不可靠。最后,提出了需要寻找其他可靠的随机数生成方法的建议。 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • 本文介绍了Redis的基础数据结构string的应用场景,并以面试的形式进行问答讲解,帮助读者更好地理解和应用Redis。同时,描述了一位面试者的心理状态和面试官的行为。 ... [详细]
  • 计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构,包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体,形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低,使得整体存储系统的平均价格降低。同时,高速缓存的存取速度可以和CPU的工作速度相匹配,进一步提高程序执行效率。 ... [详细]
  • 本文介绍了计算机网络的定义和通信流程,包括客户端编译文件、二进制转换、三层路由设备等。同时,还介绍了计算机网络中常用的关键词,如MAC地址和IP地址。 ... [详细]
  • 本文介绍了通过ABAP开发往外网发邮件的需求,并提供了配置和代码整理的资料。其中包括了配置SAP邮件服务器的步骤和ABAP写发送邮件代码的过程。通过RZ10配置参数和icm/server_port_1的设定,可以实现向Sap User和外部邮件发送邮件的功能。希望对需要的开发人员有帮助。摘要长度:184字。 ... [详细]
  • 利用Visual Basic开发SAP接口程序初探的方法与原理
    本文介绍了利用Visual Basic开发SAP接口程序的方法与原理,以及SAP R/3系统的特点和二次开发平台ABAP的使用。通过程序接口自动读取SAP R/3的数据表或视图,在外部进行处理和利用水晶报表等工具生成符合中国人习惯的报表样式。具体介绍了RFC调用的原理和模型,并强调本文主要不讨论SAP R/3函数的开发,而是针对使用SAP的公司的非ABAP开发人员提供了初步的接口程序开发指导。 ... [详细]
  • ASP.NET2.0数据教程之十四:使用FormView的模板
    本文介绍了在ASP.NET 2.0中使用FormView控件来实现自定义的显示外观,与GridView和DetailsView不同,FormView使用模板来呈现,可以实现不规则的外观呈现。同时还介绍了TemplateField的用法和FormView与DetailsView的区别。 ... [详细]
  • WebSocket与Socket.io的理解
    WebSocketprotocol是HTML5一种新的协议。它的最大特点就是,服务器可以主动向客户端推送信息,客户端也可以主动向服务器发送信息,是真正的双向平等对话,属于服务器推送 ... [详细]
  • 本文总结和分析了JDK核心源码(2)中lang包下的基础知识,包括常用的对象类型包和异常类型包。在对象类型包中,介绍了Object类、String类、StringBuilder类、StringBuffer类和基本元素的包装类。在异常类型包中,介绍了Throwable类、Error类型和Exception类型。这些基础知识对于理解和使用JDK核心源码具有重要意义。 ... [详细]
author-avatar
用户fkise9sswv
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有