看着非常炫酷的Kibana可视化，你也可以搞定！

1、Elastic Stack 与 Kibana

Elastic Stack 数据平台由 Logstash、Beats、ElasticSearch 和 Kibana 四大核心产品组成&＃xff0c;在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。

Logstash 和 Beats作为底层核心引擎组成数据摄取平台&＃xff0c;可以将数据进行标准化&＃xff0c;便于后续分析使用。其中&＃xff0c;Beats作为轻量级的数据搬运工&＃xff0c;集合了多种单一用途数据采集器&＃xff0c;将数据发送给 Logstash 或ElasticSearch&＃xff0c;其可扩展的框架及丰富的预置采集器将使工作事半功倍。Logstash 是开源的服务器端数据处理管道&＃xff0c;可同时从多个来源采集、转换数据&＃xff0c;并将数据发送到存储库中。在存储、计算和分析方面&＃xff0c;ElasticSearch允许执行和合并多种类型的搜索&＃xff0c;解决不断涌现的各种用例&＃xff0c;并具有极高的可用性及容错性&＃xff0c;充分保障集群安全。

Kibana 作为用户界面的核心&＃xff0c;集成了丰富的可视化工具、界面交互开发工具和管理工具&＃xff0c;帮助开发人员将数据轻松分享给任何人&＃xff0c;甚至还能通过机器学习来监测数据中的隐藏异常并追溯其来源。

以这四大核心产品为基础构建的 Elastic 数据平台实现了数据实时性、相关性及扩展性的完美结合&＃xff0c;不仅可以处理各种数据&＃xff0c;还能深入挖掘数据的内在关联并迅速呈现&＃xff0c;彻底解决企业的大数据实时处理难题。

之前咱们的文章围绕 Elasticsearch 展开写的多一些&＃xff0c;Kibana 介绍的相对少一些。今天想围绕 Kibana 的发展历史、核心功能、企业级使用场景好好介绍一下。

2、Kibana 发展历史

在 Elastic 官方发布的发布历程中提及&＃xff1a;“在 Elasticsearch Inc. 成立前后&＃xff0c;另外两个开源项目也正在跨越式发展。一个是一款开源的可插拔数据采集工具——logstash&＃xff1b;另外一个是一款名为 Kibana 的开源 UI”。

三位作者&＃xff08;Elastic 作者、Kibana 作者、logstash 作者&＃xff09;对各自的产品也颇为了解&＃xff0c;所以他们最终决定携手共同发展&＃xff0c;才有了 ELK Stack&＃xff0c;后面衍生为现在的 Elastic Stack。

Kibana 的创始人为&＃xff1a;Rashid Khan。

Rashid 是一名运维工程师出身的软件开发人员&＃xff0c;其 Twitter 对自己的介绍&＃xff1a;数据极客、黑客、Kibana、Timelion、Canvas的创始人。

• Rashid 的 Github 地址&＃xff1a;

https://github.com/rashidkpc

• Rashid 发布过的文章列表&＃xff1a;

https://www.elastic.co/cn/blog/author/rashid-khan

可惜&＃xff0c;2017年之后未再更新。

Elastic 官网最早集成 Kibana 的版本是 3.0.0&＃xff0c; 3.0.0 正式发布的时间为&＃xff1a;2014 年 3 月 19 日。其后的版本历史如下&＃xff1a;

3、Kibana 核心功能

2014 年 在 Kibana 3.0 官方文档中对 Kibana 的介绍如下&＃xff1a;

• Kibana 是用于 ElasticSearch 的开源&＃xff08;Apache 许可&＃xff09;、基于浏览器的分析和搜索仪表板。

• Kibana 可以轻松设置和开始使用。

• 完全用 HTML 和 Javascript 编写&＃xff0c;它只需要一个普通的网络服务器&＃xff0c;Kibana 不需要花哨的服务器端组件。

• Kibana 力求易于上手&＃xff0c;同时也像 Elasticsearch 一样灵活且强大。

8 年的发展和演变&＃xff0c;2022 年在 Elastic 官方文档“What is kibana” 中这样写道&＃xff1a;

“Kibana 是一款免费开源的前端应用程序&＃xff0c;其基础是 Elastic Stack&＃xff0c;可以为 Elasticsearch 中索引的数据提供搜索和数据可视化功能。尽管人们通常将 Kibana 视作 Elastic Stack的制图工具&＃xff0c;但也可将 Kibana 作为用户界面来监测和管理 Elastic Stack 集群并确保集群安全性&＃xff0c;还可将其作为基于 Elastic Stack 所开发内置解决方案的汇集中心。Elasticsearch 社区于 2013 年开发出了 Kibana&＃xff0c;现在 Kibana 已发展成为 Elastic Stack 的窗口&＃xff0c;是用户和公司的一个门户。”

如上所述&＃xff0c;Kibana 核心功能&＃xff08;不含付费功能&＃xff09;可以概述为如下节点&＃xff1a;

3.1 数据可视化

如果把 Elasticsearch 比作数据落地存储的“存储池”&＃xff0c;那么 Kibana 则是直观可视化展示数据的平台。

可以对已存储在 Elasticsearch 的全量数据根据自己不同类型的人员&＃xff08;架构师、开发工程师、运维工程师、产品经理、项目经理、BI分析师、运营人员&＃xff09;业务需求做多种维度的自定义分析。

数据仅存储在 Elasticsearch 是“死”的&＃xff0c;但是在 Kibana 中&＃xff0c;数据变得“鲜活”、“灵动”、“美丽”、“可爱”。

3.2 dev tool 开发工具

这是开发工程师、运维工程师、架构师的必备利器。

有读者可能会有疑惑&＃xff1a;“head 插件、postman工具、cerebro 第三方工具 等不香吗&＃xff1f;”

可以毫不夸张的说&＃xff1a;如上这几个工具相比于 kibana 是“小巫见大巫”&＃xff0c;相当于“王先生碰到王麻子&＃xff0c;不知道差多少点”。

每每看到有人用 head 插件调试 DSL&＃xff0c;我都会推荐 Kibana。

3.3 安全和监控

6.8 和 7.1 之前的 Elastic 集群版本的基础安全都是没法保证的&＃xff0c;因为之前 X-Pack 功能收费。有先见之明的团队在集群外包裹了一层 nginx 或者 第三方安全插件“search guard” 等作为基础防护&＃xff0c;但是当时绝大多数集群都属于“裸奔”状态&＃xff0c;这也导致了Elastic 集群安全事件频发。

而 7.1 版本后&＃xff0c;X-Pack 基础功能免费&＃xff0c;至少我们的 Elasticsearch集群、kibana 可视化能加了一层“账号、密码”安全防备&＃xff0c;必要时多节点的TCP 通信层也可以加上 SSL 通信加密。

更为可喜的事&＃xff0c;7.X 的自定义安全机制在 8.X 版本变成了自动和必须。8.X 集群会自动帮我们“上锁”&＃xff0c;安全成为了必须而非“可选”。

其实&＃xff1a;安全更进一步讲&＃xff0c;又细分为&＃xff1a;Space空间、role 角色、user用户 等三个维度。

• Space 空间——比如&＃xff1a;开发人员、市场人员等大类划分。

• Role 角色——比如&＃xff1a;开发工程师、运维工程师、前端、后端等细分小类划分。

• user 用户——除了 elastic、kibana-system 等自带用户外&＃xff0c;其他按需自己定义。

如上三者是由大到小逐步细化的概念。

以上&＃xff1a;kibana 7.1&＃43;版本全部包含且免费。

“安全是头等大事”&＃xff0c;除了安全&＃xff0c;作为开发和运维人员&＃xff0c;我们也非常关注集群的各项指标数据。这点 Kibana 的 Stack Monioting 也做的非常细致、出色和完备。

不止于监控 Elasticsearch 集群本身&＃xff0c;kibana 还可以监控&＃xff1a;mysql、redis、Kafka、ActiveMQ 等 N 多组件&＃xff0c;包含但不限于如下截图内容&＃xff1a;

有了指标数据的监控可视化&＃xff0c;我们才能真正从全局“掌控”集群的全貌&＃xff0c;“防患于未然”。

4、Kibana 可视化企业级使用场景

前面我们讲了 Kibana 核心功能和应用场景&＃xff0c;其中提到和着重介绍了可视化。

Kibana 对于数据的可视化“驾轻就熟”&＃xff0c;那么在企业里面用数据的可视化可以做哪些事情呢&＃xff1f;

4.1 数据的统计、可视化分析

当处理数据达到一定规模之后&＃xff0c;单纯的检索、聚合都可以借助 kibana dev tool 搞定。

但是&＃xff0c;我想实际看到数据的聚合效果、相对数据做定制可视化分析。之前咱们讲过的“长津湖影评数据可视化分析”就是基于此场景实现。

4.2 前后端联调接口可视化呈现

互联网数据可视化分析

应用市场数据可视化分析

前后端联调接口时&＃xff0c;涉及聚合统计基本上后端人员自己借助 kibana 实现数据可视化呈现。一方面验证看到聚合的结果&＃xff1b;另一方面双向验证自己 DSL 语法的正确性。

4.3 向上级 boss 汇报用

boss 关注结果&＃xff0c;不关注过程。如果你口头汇报往往不够直观。有了可视化&＃xff0c;“有图有真相”&＃xff0c;基本不用说话即可完成汇报。

5、Kibana 可视化功能实战

上面的数据分析图非常炫酷&＃xff0c;企业级开发人员、运维人员、数据分析人员等也都需要。

但&＃xff0c;到底如何动手实现呢&＃xff1f;

鉴于大家对于 kibana 数据可视化的分析的呼声非常高&＃xff0c;我准备抽出2小时时间和大家一起分享一下。

5.1 分享主题

看着非常炫酷的 Kibana 可视化&＃xff0c;你也可以搞定&＃xff01;

以 kibana 自带航班飞行数据为例&＃xff0c;一步一步实现如下的可视化图。

 kibana_sample_data_flights 航班飞行数据可视化

5.2 分享大纲

• 1、ElasticStack企业级应用场景全方位解读

• 2、从 0 到 1 实战 Kibana 可视化

• 3、通过可视化加深对聚合的理解

5.3 分享目标

• 目标1&＃xff1a;对ElasticStack企业级应用场景形成全局认知

• 目标2&＃xff1a;能自己动手实现大数据可视化分析

扫码预约&＃xff0c;等待直播>>

参考

https://www.elastic.co/cn/about/history-of-elasticsearch

https://towardsdatascience.com/exploring-kibana-ae8a770e0303

Elastic 产品生命周期&＃xff1a;https://www.elastic.co/cn/support/eol

https://www.elastic.co/cn/about/history-of-elasticsearch

https://en.wikipedia.org/wiki/Kibana

https://jaxenter.com/elasticsearch-founder-interview-112677.html