Spark的度量

Spark的度量

别称&＃xff1a;Spark的度量系统
组件&＃xff1a;1)Instance
2)Source
3)Sink

Instance

含义&＃xff1a;指定了度量系统的实例名
分类&＃xff1a;1)Master
2)Worker
3)Application
4)Driver
5)Executor

Source

含义&＃xff1a;指定了从哪里收集度量数据&＃xff0c;即度量数据的来源
分类&＃xff1a;1)ApplicationSource
2)WorkerSource
3)DAGSchedulerSource
4)BlockManagerSource
5)StreamingSource
6)JvmSource
7)MasterSource
8)CacheMetrics
9)ExecutorSource
10)ExecutorAllocationManagerSource

Sink

含义&＃xff1a;指定了往哪里输出度量数据&＃xff0c;即度量数据的输出
分类&＃xff1a;1)MetricsServlet
默认的Sink。在Spark UI的jetty服务中创建ServletContextHandler&＃xff0c;将度量数据通过Spark UI展示在浏览器中
2)ConsoleSink
借助Metrics提供的ConsoleReporter的API&＃xff0c;将度量输出到System.out&＃xff0c;因此可以输出到控制台
3)CsvSink
借助Metrics提供的CsvReporter的API&＃xff0c;将度量输出到CSV文件
4)JmxSink
借助Metrics提供的JmxReporter的API&＃xff0c;将度量输出到MBean中&＃xff0c;这样就可以打开Java VisualVM&＃xff0c;然后打开进程监控&＃xff0c;给VisualVM安装MBeans插件后&＃xff0c;选择MBeans标签页可以对JmxSink所有注册到JMX中的对象进行管理
5)GraphiteSink
借助Metrics提供的GraphiteReporter的API&＃xff0c;将度量输出到Graphite(一个由Python实现的Web应用&＃xff0c;采用django框架&＃xff0c;用来收集服务器状态的监控系统)
6)Slf4jSink
借助Metrics提供的Slf4jReporter的API&＃xff0c;将度量输出到实现了Slf4j规范的日志输出