Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可革,快速,安装使用方便。作。
接近实时
ElasticSearch是一个接近实时的搜索平台
这就是说,我们从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
集群化
集群每一台服务器都有自己的一个唯一标识,比如说id,标识自己在集群中的一个定位。
个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能。
节点
节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识,默认是在节点启动时随机分配的字符名。当然,你可以自己定义。该名字也很重要,在集群中用于识别服务器对应的节点。
索引
一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品日录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候都要使用到这个名字。在一个集群中,如果你想,可以定义任意多的索引。
类型
在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑.上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。
文档
一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON 格式来表示,而JSON是一个到处存在的互联网数据交互格式。 在一个index/type里面,只要你想,你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中,实际上一个文档必须在一个索引内被索引和分配一个类型。
分片和副本(默认情况下是5个分片、1个副本,这意味着,如果你的集群至少有两个节点,你的索引将会有5个分片和另外5个副本,)
在正常情况下,单个节点的存储和索引以及I/O读写效率是很容易遇到瓶颈的。为了提高瓶颈上限,所以在这里,对于存储进行一个分布式,多个节点做一个任务。可以提高存储上线,可以提高搜索上限,同时可以减轻压力均摊。
elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引,可以位于集群中任何节点上。
Logstash(日志收集):主要用于收集、输出、格式化数据
Elasticsearch(日志存储和搜索):用于建立索引,因为它的副本和分片,他的搜索能力很强。
Kibana(展示):作为展示用的,展示的话在于日志收集后、由es创建建立索引,并且最后传给kibana,通过kibana展现出来。他的兼容性特别好。
7.10和7.20,但是有一个特性就是,启动时,必须为非root用户。es启动时很吃内存。而且会卡很久。
(1)在所有需要收集日志的服务器上部署Logstash; 或者先将日志进行集中化管理在日志服务器上, 在日志服务器上部署 Logs tash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。
环境:
服务器类型 | 系统和IP地址 | 需要安装的组件 | 硬件方面 |
---|---|---|---|
Node1节点 | CentOS7.4(64 位) 192.168.59.115 | Elasticsearch 、 Kibana | 2核4G |
Node2节点 | CentOS7.4(64 位) 192.168.59.116 | Elasticsearch | 2核4G |
Apache节点 | CentOS7.4(64 位) 192.168.59.119 | Logstash Apache | 2核4G |
#更改主机名
Node1节点:hostnamectl set-hostname node1
Node2节点:hostnamectl set-hostname node2#配置域名解析
vim /etc/hosts
192.168.59.115 node1
192.168.59.116 node2#查看Java环境,如果没有安装,yum -y install java
java -version
(1)更改主机名
(2)配置域名解析
(3)查看Java环境
(1)#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm (2)#加载系统服务
systemctl daemon-reload
systemctl enable elasticsearch.service(3)#修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
--33--取消注释,指定数据存放路径
path.data: /data/elk_data
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释,改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释,集群发现通过单播实现,指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]#查看主配置文件
grep -v "^#" /etc/elasticsearch/elasticsearch.yml#将node1的配置文件拷贝一份在node2上并去node2上修改
scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/
vim /etc/elasticsearch/elasticsearch.yml
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node2(4)#创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/(5)#启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200(6)#查看节点信息
浏览器访问 ,查看节点 Node1、Node2 的信息
http://192.168.59.115:9200 http://192.168.59.116:9200 #原谅色:green
http://192.168.59.115:9200/_cluster/health?pretty
http://192.168.59.116:9200/_cluster/health?pretty
####### 使用以上方式查看状态并不友好,可以通过 elasticsearch-head插件来直接管理 #####
(1)上传elasticsearch-5.5.0.rpm到/opt目录下
(2)加载系统服务
(3)修改elasticsearch主配置文件
先修改node1上的配置文件
#将node1的配置文件拷贝一份在node2上并去node2上修改
(4)创建数据存放路径并授权
(5)启动elasticsearch是否成功开启
(6)查看节点信息
(1)#编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxf node-v8.2.1.tar.gzcd node-v8.2.1/
./configure
make -j2 && make install(2)#安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin(3)#安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install(4)#修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有systemctl restart elasticsearch(5)#启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt serverRunning "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100(6)#通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.59.115:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。访问有问题 可以将localhost 改成ip地址
(7)#插入索引
##登录192.168.59.115 node1主机##### 索引为index-demo,类型为test,可以看到成功创建
[root@node1 ~]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{"_index" : "index-demo","_type" : "test","_id" : "1","_version" : 1,"result" : "created","_shards" : {"total" : 2,"successful" : 2,"failed" : 0},"created" : true
}####在192.168.91.100 刷新浏览器输入看索引信息###
node1信息动作 01234
node2信息动作 01234
●上面图可以看见索引默认被分片5个,并且有一个副本点击数据浏览--会发现在node1上创建的索引为index-demo,类型为test, 相关的信息
(1)编译安装 node,这边只演示node2上,node1上的操作相同
(2)#安装 phantomjs
(3)安装 Elasticsearch-head 数据可视化工具
(4)修改 Elasticsearch 主配置文件(这边展示node1的,node2与之相同)
(5)启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
(6)浏览器访问:http://192.168.59.115:9100/
(7)插入索引
(1)#修改主机名
hostnamectl set-hostname apache
su(2)#安装httpd并启动
yum -y install httpd
systemctl start httpd(3)#安装java环境
yum -y install java
java -version(4)#安装logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
cd /usr/share/logstash/
ls
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
(1)#修改主机名
(2)#安装httpd并启动
(3)#安装java环境
(4)#安装logstash
Logstash这个命令测试
字段描述解释:
● -f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
● -e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是“空”则默认使用stdin做为输入、stdout作为输出)
● -t 测试配置文件是否正确,然后退出logstash -f 配置文件名字 去连接elasticsearch (1)#输入采用标准输入 输出采用标准输出---登录192.168.59.115 在Apache服务器上
logstash -e 'input { stdin{} } output { stdout{} }'16:45:21.422 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started
16:45:21.645 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##需要手动输入
2021-12-16T08:46:14.041Z apache www.baidu.com
www.sina.com ##需要手动输入
2021-12-16T08:46:23.548Z apache www.sina.com(2)#使用 rubydebug 输出详细格式显示,codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'16:51:13.127 [[main]-pipeline-manager] INFO logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
16:51:13.174 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
16:51:13.205 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##需要手动输入
{"@timestamp" => 2021-12-16T08:52:22.528Z,"@version" => "1","host" => "apache","message" => "www.baidu.com"
}(3)##使用logstash将信息写入elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.59.115:9200"] } }'
(1)#输入采用标准输入 输出采用标准输出—登录192.168.59.115 在Apache服务器上
(2)#使用 rubydebug 输出详细格式显示,codec 为一种编解码器
(3)##使用logstash将信息写入elasticsearch中
Logstash 配置文件基本由三部分组成:input、output 以及 filter(可选,根据需要选择使用)。(1)#给日志目录可读权限
chmod o+r /var/log/messages #让 Logstash 可以读取日志
(2)#修改 Logstash 配置文件,让其收集系统日志/var/log/messages,并将其输出到 elasticsearch 中。
vim /etc/logstash/conf.d/system.confinput {file{path =>"/var/log/messages" #指定要收集的日志的位置type =>"system" #自定义日志类型标识start_position =>"beginning" #表示从开始处收集}
}
output {elasticsearch { #输出到 elasticsearchhosts => ["192.168.59.115:9200"] #指定 elasticsearch 服务器的地址和端口index =>"system-%{+YYYY.MM.dd}" #指定输出到 elasticsearch 的索引格式}
}(4)#重启服务
systemctl restart logstash(5)#登录192.168.59.116 真机
打开浏览器 输入http://192.168.59.115:9100/ 查看索引信息###多出 system-xxxx
(1)#给日志目录可读权限
(2)#修改 Logstash 配置文件
(4)#重启服务
(5)#浏览器打开http://192.168.59.115:9100/
(1)#安装 Kiabana
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm(2)#设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.59.115:9200"
--30--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"(3)#启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601(4)#验证 Kibana
浏览器访问 http://192.168.59.115:5601第一次登录需要添加一个 Elasticsearch 索引:
Index name or pattern
//输入:system-* #在索引名中输入之前配置的 Output 前缀“system”
单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示,在“Available Fields”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果(5)#将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.59.115:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.59.115:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf6.#浏览器访问http://192.168.59.115:9100/测试,查看索引信息能发现
apache_error-2019.04.16 apache_access-2019.04.16 #浏览器访问http://192.168.59.115:5601
点击左下角有个management选项---index patterns---create index pattern
----分别创建apache_error-* 和 apache_access-* 的索引
(1)#安装 Kiabana
(2)#设置 Kibana 的主配置文件
(3)#启动 Kibana 服务
(4)#验证 Kibana,浏览器访问 http://192.168.59.115:5601
(5)#将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
#浏览器访问http://192.168.59.115:9100/测试,查看索引信息能发现两个日志
#浏览器访问http://192.168.59.115:5601
添加索引apache_error-*
添加索引apache_access-*