热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

druid接入kafkaindexingservice整个流程

先介绍下我们的druid集群配置Overload1台Coordinator1台Middlemanager3台Broker3台Historical一共12台,其中cold6台,hot

先介绍下我们的druid集群配置

Overload 1台

Coordinator 1台

Middle manager 3台

Broker 3台

Historical一共12台,其中cold 6台,hot 6台

druid版本:0.10, 0.9之后即可支持Kafka indexing service

目前的druid主要用来做批量灌入,包括天级,小时级,五分钟级

由于这个五分钟是一个小时前的五分钟,实时性不能满足需求,无法指导广告主实时投放

需要引入分钟级的实时数据,即广告主在投放一分钟之后就能看到投放的展现点击等指标数据,从而指导广告主投放

业务维度字段主要有

uid campaign_id plan_id mid posid

指标字段主要有

impressions clicks installs revenue

由于transqulity有数据丢失风险,所以我们拟采用kafka indexing service

1.打开druid的extensions目录,这个插件已经自带

2.在overload和middleManager上配置loadList,注意overload节点和middleManager节点都要配置,其他节点不需要

名称千万不能写错 "druid-kafka-indexing-service"

3.重启overload和middleManager

关闭服务

ps -ef |grep druid

kill -9 pid

打开服务

nohup java `cat conf/druid/overlord/jvm.config | xargs` -cp "conf/druid/_common:conf/druid/overlord:lib/*" io.druid.cli.Main server overlord > /new_orion/druid/druid_start_log/ip/overlord/overlord.out &

把这行命令存成一个脚本,每次打开服务用这个脚本

4.配置supervisor.json

灌库用的tsv文件,下面给出一个json范例

{
  "type": "kafka",
  "dataSchema": {
    "dataSource": "realtime_detail_min",
    "parser": {
      "type": "string",
      "parseSpec": {
        "format": "tsv",
        "delimiter": "\t",
        "timestampSpec": {
          "column": "timestamp",
          "format": "auto"
        },
        "columns": [
          "timestamp",
          "pkgname",
          "country",
          "impressions",
          "clicks"
        ],
        "dimensionsSpec": {
          "dimensions": [
            "pkgname",
            "country"
          ],
          "dimensionExclusions": []
        }
      }
    },
    "metricsSpec": [
      {
        "type": "longSum",
        "name": "impressions",
        "fieldName": "impressions"
      },
      {
        "type": "longSum",
        "name": "clicks",
        "fieldName": "clicks"
      }
    ],
    "granularitySpec": {
      "type": "uniform",
      "segmentGranularity": "HOUR",
      "queryGranularity": "MINUTE"
    }
  },
  "tuningConfig": {
    "type": "kafka",
    "maxRowsPerSegment": 5000000
  },
  "ioConfig": {
    "topic": "druid_detail_time_minute",
    "consumerProperties": {
      "bootstrap.servers": "ip:9092",
      "group.id": "consumer_druid"
    },
    "taskCount": 1,
    "replicas": 1,
    "taskDuration": "PT1H"
  }
}

注意:

1.如果用的tsv或者csv文件,一定要设置columns,灌数字段顺序要和这个完全一致

2.segmentGranularity表示落盘成数据段的单位,这个一般不要设置太小,一个小时或者一天

queryGranularity表示查询的最小维度

3.maxRowsPerSegment 表示一个segment最大数据行数,taskDuration表示多久持久化一次数据

比如我想一个小时落盘一次数据,但是一个小时我们能生成800万行数据,那就把maxRowsPerSegment赋值为1000万

4.taskCount replicas这两个字段也很重要,参照官网,如果阅读英文费劲,可以参考阿里云官网

5.启动superviosr

curl -X POST -H 'Content-Type: application/json' -d @supervisor-spec.jsonhttp://localhost:8090/druid/indexer/v1/supervisor

6.访问overload控制台如下

点击status查看所有分区的消费进度

注意在启动supervisor消费之前,一定要保证overload机器和middleManager节点一定能访问kafka

我们还有一套阿里云的druid, 但我们的kafka是腾讯的,用阿里云的druid消费腾讯的kafka

一切正常就是不消费,lag一直在堆积,后来阿里云同学说你们买的druid只能访问你们买的其他几台内网地址,如果想要访问外网地址,需要配置vpn,然后我问为啥latesetOffset一直增加呢,回答overload节点能访问kafka,但是middleManager真正做消费的访问不到,所以不确定overload和middleManager能否访问kafka的情况下,就在这些机器上装个单机版的kafka,用命令行消费一下

./kafka-console-consumer --bootstrap-serverckafka.com:6170 --group consumer_druid --topic druid_detail_time_minute

注意执行这条命令不需要配置和启动kafka,进入bin目录直接执行即可

附上下载kafka的命令

wgethttp://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

7.在coordinator页面观察数据是否正确生成

一定要设置rules,数据才能正常展示


推荐阅读
  • 在 CentOS 6.5 系统上部署 VNC 服务器的详细步骤与配置指南
    在 CentOS 6.5 系统上部署 VNC 服务器时,首先需要确认 VNC 服务是否已安装。通常情况下,VNC 服务默认未安装。可以通过运行特定的查询命令来检查其安装状态。如果查询结果为空,则表明 VNC 服务尚未安装,需进行手动安装。此外,建议在安装前确保系统的软件包管理器已更新至最新版本,以避免兼容性问题。 ... [详细]
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • Squaretest:自动生成功能测试代码的高效插件
    本文将介绍一款名为Squaretest的高效插件,该工具能够自动生成功能测试代码。使用这款插件的主要原因是公司近期加强了代码质量的管控,对各项目进行了严格的单元测试评估。Squaretest不仅提高了测试代码的生成效率,还显著提升了代码的质量和可靠性。 ... [详细]
  • MySQL数据库安装图文教程
    本文详细介绍了MySQL数据库的安装步骤。首先,用户需要打开已下载的MySQL安装文件,例如 `mysql-5.5.40-win32.msi`,并双击运行。接下来,在安装向导中选择安装类型,通常推荐选择“典型”安装选项,以确保大多数常用功能都能被正确安装。此外,文章还提供了详细的图文说明,帮助用户顺利完成整个安装过程,确保数据库系统能够稳定运行。 ... [详细]
  • 在JavaWeb项目架构中,NFS(网络文件系统)的实现与优化是关键环节。NFS允许不同主机系统通过局域网共享文件和目录,提高资源利用率和数据访问效率。本文详细探讨了NFS在JavaWeb项目中的应用,包括配置、性能优化及常见问题的解决方案,旨在为开发者提供实用的技术参考。 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • `chkconfig` 命令主要用于管理和查询系统服务在不同运行级别中的启动状态。该命令不仅能够更新服务的启动配置,还能检查特定服务的当前状态。通过 `chkconfig`,管理员可以轻松地控制服务在系统启动时的行为,确保关键服务正常运行,同时禁用不必要的服务以提高系统性能和安全性。本文将详细介绍 `chkconfig` 的各项参数及其使用方法,帮助读者更好地理解和应用这一强大的系统管理工具。 ... [详细]
  • Kafka 是由 Apache 软件基金会开发的高性能分布式消息系统,支持高吞吐量的发布和订阅功能,主要使用 Scala 和 Java 编写。本文将深入解析 Kafka 的安装与配置过程,为程序员提供详尽的操作指南,涵盖从环境准备到集群搭建的每一个关键步骤。 ... [详细]
  • 尽管我们尽最大努力,任何软件开发过程中都难免会出现缺陷。为了更有效地提升对支持部门的协助与支撑,本文探讨了多种策略和最佳实践,旨在通过改进沟通、增强培训和支持流程来减少这些缺陷的影响,并提高整体服务质量和客户满意度。 ... [详细]
  • 在使用SSH框架进行项目开发时,经常会遇到一些常见的问题。例如,在Spring配置文件中配置AOP事务声明后,进行单元测试时可能会出现“No Hibernate Session bound to thread”的错误。本文将详细探讨这一问题的原因,并提供有效的解决方案,帮助开发者顺利解决此类问题。 ... [详细]
  • 使用 `git stash` 可以将当前未提交的修改保存到一个临时存储区,以便在后续恢复工作目录时使用。例如,在处理中间状态时,可以通过 `git stash` 命令将当前的所有未提交更改推送到一个新的储藏中,从而保持工作目录的整洁。此外,本文还将详细介绍如何解决 `git stash pop` 时可能出现的冲突问题,帮助用户高效地管理代码变更。 ... [详细]
  • 在VS2013中编译FFMPEG时遇到的问题及解决方案
    在使用VS2013编译旧版本FFMPEG库时遇到了一些问题,因为官方并未提供预编译的LIB和DLL文件。由于对Linux环境不熟悉,只能在Windows环境下进行配置和编译。具体步骤如下:首先,下载FFMPEG的源代码;然后,安装必要的编译工具和依赖项;接着,配置Visual Studio 2013的项目设置;最后,解决编译过程中出现的各种错误和警告。通过这些步骤,最终成功编译出所需的FFMPEG库文件。 ... [详细]
  • 在Java编程中,`AbstractClassTest.java` 文件详细解析了抽象类的使用方法。该文件通过导入 `java.util.*` 包中的 `Date` 和 `GregorianCalendar` 类,展示了如何在主方法 `main` 中实例化和操作抽象类。此外,还介绍了抽象类的基本概念及其在实际开发中的应用场景,帮助开发者更好地理解和运用抽象类的特性。 ... [详细]
  • Android中将独立SO库封装进JAR包并实现SO库的加载与调用
    在Android开发中,将独立的SO库封装进JAR包并实现其加载与调用是一个常见的需求。本文详细介绍了如何将SO库嵌入到JAR包中,并确保在外部应用调用该JAR包时能够正确加载和使用这些SO库。通过这种方式,开发者可以更方便地管理和分发包含原生代码的库文件,提高开发效率和代码复用性。文章还探讨了常见的问题及其解决方案,帮助开发者避免在实际应用中遇到的坑。 ... [详细]
  • 如何高效地安装并配置 PostgreSQL 数据库系统?本文将详细介绍从下载到安装、配置环境变量、初始化数据库、以及优化性能的全过程,帮助读者快速掌握 PostgreSQL 的核心操作与最佳实践。文章还涵盖了常见问题的解决方案,确保用户在部署过程中能够顺利解决遇到的各种挑战。 ... [详细]
author-avatar
书友30905431
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有