1.概述
Flume有能力在运行阶段修改/删除Event&＃xff0c;这是通过拦截器&＃xff08;Interceptors&＃xff09;来实现的。
拦截器需要实现org.apache.flume.interceptor.Interceptor接口。
拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。
拦截器采用了责任链模式&＃xff0c;多个拦截器可以按指定顺序拦截。
一个拦截器返回的事件列表被传递给链中的下一个拦截器。
如果一个拦截器需要删除事件&＃xff0c;它只需要在返回的事件集中不包含要删除的事件即可。
如果要删除所有事件&＃xff0c;只需返回一个空列表。
2.Timestamp Interceptor
这个拦截器在事件头中插入以毫秒为单位的当前处理时间。
头的名字为timestamp&＃xff0c;值为当前处理的时间戳。
如果在之前已经有这个时间戳&＃xff0c;则保留原有的时间戳。
参数说明&＃xff1a;
!type – 类型名称&＃xff0c;必须是timestamp或自定义类的全路径名
preserveExisting false 如果时间戳已经存在是否保留
3.Host Interceptor
这个拦截器插入当前处理Agent的主机名或ip
头的名字为host或配置的名称
值是主机名或ip地址&＃xff0c;基于配置。
参数说明&＃xff1a;
!type – 类型名称&＃xff0c;必须是host
preserveExisting false 如果主机名已经存在是否保留
useIP true 如果配置为true则用IP&＃xff0c;配置为false则用主机名
hostHeader host 加入头时使用的名称
4.Static Interceptor
此拦截器允许用户增加静态头信息使用静态的值到所有事件。
目前的实现中不允许一次指定多个头。
如果需要增加多个静态头可以指定多个Static interceptors
属性说明:
!type – 类型&＃xff0c;必须是static
preserveExisting true 如果配置头已经存在是否应该保留
key key 要增加的透明
value value 要增加的头值
5.UUID Interceptor
这个拦截器在所有事件头中增加一个全局一致性标志。
其实就是UUID。
属性说明&＃xff1a;
!type – 类型名称&＃xff0c;必须是org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
headerName id 头名称
preserveExisting true 如果头已经存在&＃xff0c;是否保留
prefix “” 在UUID前拼接的字符串前缀
7.Search and Replace Interceptor
这个拦截器提供了简单的基于字符串的正则搜索和替换功能。
属性说明&＃xff1a;
type – 类型名称&＃xff0c;必须是"search_replace"
searchPattern – 要搜索和替换的正则表达式
replaceString – 要替换为的字符串
charset UTF-8 字符集编码&＃xff0c;默认utf-8
8.Regex Filtering Interceptor
此拦截器通过解析事件体去匹配给定正则表达式来筛选事件。
所提供的正则表达式即可以用来包含或刨除事件。
属性说明&＃xff1a;
!type – 类型&＃xff0c;必须设定为regex_filter
regex ”.*” 所要匹配的正则表达式
excludeEvents false 如果是true则刨除匹配的事件&＃xff0c;false则包含匹配的事件。
9.Regex Extractor Interceptor
使用指定正则表达式匹配事件&＃xff0c;并将匹配到的组作为头加入到事件中。
它也支持插件化的序列化器用来格式化匹配到的组在加入他们作为头之前。
属性说明&＃xff1a;
!type – 类型&＃xff0c;必须是regex_extractor
!regex – 要匹配的正则表达式
京公网安备 11010802041100号