作者:川人是天下的盐恋歌_334 | 来源:互联网 | 2023-09-23 06:20
对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需求,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。
日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投递到OSS、ODPS等存储类服务,配合EMR(Spark、Hive)等离线计算,以最小成本支撑这类需求。
整体方案
LogShipper是LogHub后续消费者,用以将实时流数据,转化为离线块数据。目前支持OSS、ODPS两种存储。即将会支持OTS(表格存储)、OAS(归档服务)等更多存储服务。
该方案在日志服务中位置:
- 日志枢纽(LogHub):通过Agent/API实时收集、订阅、消费数据
- 日志投递(LogShipper):将日志定时归档至存储/计算