Flume+hbase日志数据采集与存储

作者：萎靡的世界 | 来源：互联网 | 2023-09-05 19:29

了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。（由于条件有限，目前是单机上实现）flume-agent配置文件#flumeagentconfsour

Flume+hbase 日志数据采集与存储

了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。（由于条件有限，目前是单机上实现）

flume-agent配置文件

#flume agent conf

source_agent.sources = server
source_agent.sinks = avroSink
source_agent.channels = memoryChannel

source_agent.sources.server.type = exec
source_agent.sources.server.command = tail -F /data/hudonglogs/self/channel.log
source_agent.sources.server.channels = memoryChannel 

source_agent.channels.memoryChannel.type = memory
source_agent.channels.memoryChannel.capacity = 1000
source_agent.channels.memoryChannel.transactionCapacity = 100

source_agent.sinks = avroSink
source_agent.sinks.avroSink.type = avro
source_agent.sinks.avroSink.hostname = 127.0.0.1
source_agent.sinks.avroSink.port = 41414
source_agent.sinks.avroSink.channel = memoryChannel

flume-hbase 配置文件

#hbase flume conf sinks

collector.sources = avroSource
collector.sinks = hbaseSink
collector.channels =memChannel

collector.sources.avroSource.type = avro
collector.sources.avroSource.bind = 127.0.0.1
collector.sources.avroSource.port = 41414
collector.sources.avroSource.channels = memChannel

collector.channels.memChannel.type = memory
collector.channels.memChannel.capacity = 1000

collector.sinks.hbaseSink.type = asynchbase
collector.sinks.hbaseSink.channel = memChannel
collector.sinks.hbaseSink.table = logs
collector.sinks.hbaseSink.columnFamily = content
collector.sinks.hbaseSink.batchSize = 5

hbase中创建表logs 以及列族content

create 'logs','content'

启动flume

nohup $FLUME_HOME/bin/flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/conf/flume-hbase.conf -n collector &
nohup $FLUME_HOME/bin/flume-ng agent -c $FLUME_HOME /conf -f $FLUME_HOME/conf/flume-agent.conf -n source_agent &

注：这两条命令启动是有顺序的，先启动collector，否则会报错

在不断向文件中写入日志后，可以使用scan命令查看hbase

scan 'logs'

ROW                                            COLUMN+CELL                                                                                                                          
 default09626ade-3f37-49c3-a930-270ef7119dd3   column=content:pCol, timestamp=1454480049481, value=2016-02-03 12:19:36,260 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4473176260                                                                                                                           
 default09ba09cc-326c-465c-90f9-533c923923a0   column=content:pCol, timestamp=1454480074182, value=2016-02-03 14:14:22,179 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480062179                                                                                                                           
 default0c199142-05f8-49c6-b341-8158bb445861   column=content:pCol, timestamp=1454480113199, value=2016-02-03 14:15:07,196 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480107196                                                                                                                           
 default0cbb050e-3756-44f2-8c66-419a6e52fd97   column=content:pCol, timestamp=1454480049493, value=2016-02-03 12:19:42,263 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4473182263                                                                                                                           
 default0f8eb841-7ccd-4abf-9dcf-4fc26d3f55f4   column=content:pCol, timestamp=1454480079188, value=2016-02-03 14:14:34,185 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480074185                                                                                                                           
 default133b7acf-ca3c-46e9-90a8-27d553721900   column=content:pCol, timestamp=1454480121214, value=2016-02-03 14:15:18,200 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480118200                                                                                                                           
 default13e2a5bc-f79a-4ffe-86a0-bf0ea37d8f35   column=content:pCol, timestamp=1454480139209, value=2016-02-03 14:15:35,206 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480135206                                                                                                                           
 default19cae7ca-87ba-42b5-9f13-136c89c0c20e   column=content:pCol, timestamp=1454480094196, value=2016-02-03 14:14:50,190 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480090190                                                                                                                           
 default1aba06a5-973d-403a-91de-afacc9536172   column=content:pCol, timestamp=1454480139209, value=2016-02-03 14:15:34,206 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480134206                                                                                                                           
 default1b240a9c-2b35-4649-b199-29a27a0c4db2   column=content:pCol, timestamp=1454480049481, value=2016-02-03 12:19:40,262 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4473180262                                                                                                                           
 default1d92a0e3-b427-4958-bae7-c7bb1e9d20ef   column=content:pCol, timestamp=1454480106197, value=2016-02-03 14:14:59,193 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480099193                                                                                                                           
 default25ef2b1b-6d6c-4431-885e-c2e4d2297f59   column=content:pCol, timestamp=1454480085201, value=2016-02-03 14:14:42,187 com.hudong.test.Test01 [main] [INFO]-(Test01.java:22) 145
                                               4480082187

另：

　　对于现在的日志格式可能不满意，flume支持自定义Serializer，用于日志的清洗，实现AsyncHbaseEventSerializer接口即可，并将flume重新打包，然后将相应的jar复制到flume home目录下lib文件夹下，旧可以！

接口的实现，参照博文：http://blog.csdn.net/yaoyasong/article/details/39400829

推荐阅读

io
代码片段_打开查询设计器时，Report Builder 3.0会冻结

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了打开查询设计器时，ReportBuilder3.0会冻结相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2023-10-16 16:24:39
int
使用eclipse创建一个Java项目的步骤

本文介绍了使用eclipse创建一个Java项目的步骤，包括启动eclipse、选择New Project命令、在对话框中输入项目名称等。同时还介绍了Java Settings对话框中的一些选项，以及如何修改Java程序的输出目录。 ... [详细]

蜡笔小新 2023-12-11 10:24:49
int
sqlserver云存储和本地存储的区别及启动方法

本文介绍了sqlserver云存储和本地存储的区别，云存储是将数据存储在网络上，方便查看和调用；本地存储是将数据存储在电脑磁盘上，只能在存储的电脑上查看。同时提供了几种启动sqlserver的方法。此外，还介绍了如何导出数据库的步骤和工具。 ... [详细]

蜡笔小新 2023-12-12 11:27:17
int
一次上线事故，30岁+的程序员踩坑经验之谈

本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间，作为一个在线医疗项目，他们进行了优惠折扣活动的升级改造。然而，在上线前的最后一天，由于大量数据请求，导致部分接口出现问题。作者通过部署两台opentsdb来解决问题，但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]

蜡笔小新 2023-12-10 17:25:31
python
2018年人工智能大数据的爆发，学Java还是Python？

本文介绍了2018年人工智能大数据的爆发以及学习Java和Python的相关知识。在人工智能和大数据时代，Java和Python这两门编程语言都很优秀且火爆。选择学习哪门语言要根据个人兴趣爱好来决定。Python是一门拥有简洁语法的高级编程语言，容易上手。其特色之一是强制使用空白符作为语句缩进，使得新手可以快速上手。目前，Python在人工智能领域有着广泛的应用。如果对Java、Python或大数据感兴趣，欢迎加入qq群458345782。 ... [详细]

蜡笔小新 2023-12-14 20:08:28
int
SQL日志收缩及截断方法详解

本文详细介绍了SQL日志收缩的方法，包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时，还介绍了截断日志的原理和注意事项，包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法，可以有效减小逻辑日志的大小，提高数据库的性能。 ... [详细]

蜡笔小新 2023-12-14 18:23:25
const
Java序列化对象传给PHP的方法及原理解析

本文介绍了Java序列化对象传给PHP的方法及原理，包括Java对象传递的方式、序列化的方式、PHP中的序列化用法介绍、Java是否能反序列化PHP的数据、Java序列化的原理以及解决Java序列化中的问题。同时还解释了序列化的概念和作用，以及代码执行序列化所需要的权限。最后指出，序列化会将对象实例的所有字段都进行序列化，使得数据能够被表示为实例的序列化数据，但只有能够解释该格式的代码才能够确定数据的内容。 ... [详细]

蜡笔小新 2023-12-14 15:25:15
web
如何限制php数据库链接数和连接超时时间？

本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目，以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数，以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]

蜡笔小新 2023-12-14 14:06:10
copy
图解redis的持久化存储机制RDB和AOF的原理和优缺点

本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件，恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘，实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点，帮助读者更好地理解redis的持久化存储策略。 ... [详细]

蜡笔小新 2023-12-13 20:24:11
web
如何在Windows环境下配置php+apache环境

本文介绍了在Windows环境下如何配置php+apache环境，包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]

蜡笔小新 2023-12-13 10:39:24
header
在mac环境下使用nginx配置nodejs代理服务器的步骤

本文介绍了在mac环境下使用nginx配置nodejs代理服务器的步骤，包括安装nginx、创建目录和文件、配置代理的域名和日志记录等。 ... [详细]

蜡笔小新 2023-12-13 10:34:21
header
解决php错误信息不显示在浏览器上的方法

本文介绍了解决php错误信息不显示在浏览器上的方法。作者发现php中的各种错误信息并不显示在浏览器上，而是需要在日志文件中查看。为了解决这个问题，作者提供了一种解决方式：通过修改php.ini文件中的display_errors参数为On，并重启服务。这样就可以在浏览器上直接显示php错误信息了。 ... [详细]

蜡笔小新 2023-12-11 11:36:32
web
如何使用Java获取服务器硬件信息和磁盘负载率

本文介绍了使用Java编程语言获取服务器硬件信息和磁盘负载率的方法。首先在远程服务器上搭建一个支持服务端语言的HTTP服务，并获取服务器的磁盘信息，并将结果输出。然后在本地使用JS编写一个AJAX脚本，远程请求服务端的程序，得到结果并展示给用户。其中还介绍了如何提取硬盘序列号的方法。 ... [详细]

蜡笔小新 2023-12-14 13:56:20
const
深入浅出Linux设备驱动编程的重要性与方法

本文介绍了深入浅出Linux设备驱动编程的重要性，以及两种加载和删除Linux内核模块的方法。通过一个内核模块的例子，展示了模块的编译和加载过程，并讨论了模块对内核大小的控制。深入理解Linux设备驱动编程对于开发者来说非常重要。 ... [详细]

蜡笔小新 2023-12-12 15:28:09
web
Oracle优化新常态的五大禁止及其性能隐患

本文介绍了Oracle优化新常态中的五大禁止措施，包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB，并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况，并提出了解决方案。 ... [详细]

蜡笔小新 2023-12-12 12:55:55

萎靡的世界

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章