ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES

作者： | 来源：互联网 | 2023-12-09 10:36

一、认识ElasticSearch是一个基于Lucene的开源搜索引擎，通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索，分析系统&#

一、认识ElasticSearch

是一个基于Lucene的开源搜索引擎&＃xff0c;通过简单的RESTful API来隐藏Lucene的复杂性。全文搜索&＃xff0c;分析系统&＃xff0c;分布式数据库&＃xff1b;elasticsearch的革命性就在于将这些单一的有用的技术整合成一个一体化的”实时的应用”。

二、ElasticSearch环境搭建

1.安装ElasticSearch

从官网下载&＃xff0c;https://www.elastic.co/downloads/elasticsearch&＃xff0c;选择自己想要的版本下载到本地&＃xff0c;然后解压&＃xff1b;

2.安装Kibana

从官网下载&＃xff0c;https://www.elastic.co/downloads/kibana&＃xff0c;这里选择和ElasticSearch一样的版本&＃xff0c;然后解压。

Kibana是一个为 ElasticSearch 提供数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

3.安装X-pack

是ElasticSearch的一个扩展包&＃xff0c;包括安全、警告、监视、图形、报告等功能集成在一个软件包&＃xff0c;方便我们操作ElasticSearch。

到ElasticSearch目录&＃xff0c;执行./bin/elasticsearch-plugin install x-pack&＃xff1b;到Kibana目录&＃xff0c;执行./bin/kibana-plugin install x-pack。

4.启动ElasticSearch和Kibana&＃43;访问

启动ElasticSearch&＃xff1a;ES目录执行./bin/elasticsearch&＃xff1b;

启动Kibana&＃xff1a;Kibana目录执行./bin/kibana

访问Kibana&＃xff1a;http://localhost:5601/

特别注意&＃xff1a;登录的默认用户名和密码分别是&＃xff1a;elastic和changeme 。

三、MySQL数据同步到ElasticSearch

自己在网上找了很多资料&＃xff0c;最后选择采用logstash-input-jdbc的方式进行MySQL数据到ES的同步&＃xff0c;已经做了一个初步的尝试&＃xff0c;感觉还不错。现在仅仅尝试了一次同步一个表的数据&＃xff0c;批量数据同步还需要研究。下面是我们进行数据同步的一些步骤&＃xff1a;

步骤一&＃xff1a;安装Ruby

因为logstash-input-jdbc是logstash的一个插件&＃xff0c;使用ruby开发。自己本地是在MacOS上&＃xff0c;安装方式&＃xff1a;ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"&＃xff1b;

步骤二&＃xff1a;安装logstash-input-jdbc

首先从官网下载logstash:https://www.elastic.co/downloads/logstash&＃xff0c;解压之后进入本地的logstash目录&＃xff0c;到bin目录下面执行命令&＃xff1a;./logstash-plugin install logstash-input-jdbc&＃xff0c;安装的过程需要花费一点时间&＃xff0c;静待一会儿&＃xff0c;耐心等待&＃xff0c;直到出现Installation successful。

步骤三&＃xff1a;使用logstash-input-jdbc

进入本地的logstash/bin目录&＃xff0c;创建mysql目录&＃xff0c;并添加jdbc.conf和jdbc.sql两个文件&＃xff0c;并且加入mysql驱动。下面贴出jdbc.conf和jdbc.sql文件的内容&＃xff0c;这里实现了同步MySQL中一个表的数据到ES。

jdbc.conf文件内容如下&＃xff1a;

input {

stdin {

}

jdbc {

# mysql 数据库链接,test为数据库名

jdbc_connection_string &＃61;> "jdbc:mysql://127.0.0.1:3306/test"

# 登录mysql数据库用户名和密码

jdbc_user &＃61;> "root"

jdbc_password &＃61;> "root"

# 驱动

jdbc_driver_library &＃61;> "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/mysql-connector-java-5.1.38.jar"

# 驱动类名

jdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"

jdbc_paging_enabled &＃61;> "true"

jdbc_page_size &＃61;> "50000"

# 执行的sql 文件路径&＃43;名称

statement_filepath &＃61;> "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/jdbc.sql"

# 设置监听间隔各字段含义&＃xff08;由左至右&＃xff09;分、时、天、月、年&＃xff0c;全部为*默认含义为每分钟都更新

#schedule &＃61;> "* * * * *"

# 索引类型

type &＃61;> "pattern"

}

filter {

json {

source &＃61;> "pattern"

}

output {

elasticsearch {

# ES的IP地址及端口

hosts &＃61;> ["localhost:9200"]

# 索引名称

index &＃61;> "test"

# 自增ID 需要关联的数据库中有有一个id字段&＃xff0c;对应索引的id号

document_id &＃61;> "%{id}"

}

stdout {

# JSON格式输出

codec &＃61;> json_lines

}

jdbc.sql文件内容如下&＃xff1a;

select * from 要同步的MySQL数据库中的表名

bin目录下执行命令&＃xff1a;.&＃xff0f;logstash -f .&＃xff0f;mysql&＃xff0f;jdbc.conf

四、Java HTTP REST API访问ElasticSearch

Java访问ES的两种方式&＃xff1a;第一种——通过TransportClient访问&＃xff1b;第二种——通过Jest访问。我们采用Jest(一个封装了对ES各种操作的轻量的框架)。

步骤一&＃xff1a;pom.xml中添加相关依赖

<groupId>io.searchboxgroupId>

<artifactId>jestartifactId>

<version>5.3.3version>

dependency>

<groupId>org.elasticsearchgroupId>

<artifactId>elasticsearchartifactId>

<version>5.5.1.0version>

dependency>

<groupId>org.apache.httpcomponentsgroupId>

<artifactId>httpcoreartifactId>

<version>4.4.7version>

dependency>

<groupId>org.apache.httpcomponentsgroupId>

<artifactId>httpclientartifactId>

<version>4.5.3version>

dependency>

<groupId>commons-logginggroupId>

<artifactId>commons-loggingartifactId>

<version>1.1.1version>

dependency>

步骤二&＃xff1a;准备工具类&＃xff0c;封装各种Jest操作ES的方法

package com.jhzz.jizhitong.common.util;

import java.util.List;

import com.google.gson.GsonBuilder;

import io.searchbox.client.JestClient;

import io.searchbox.client.JestClientFactory;

import io.searchbox.client.JestResult;

import io.searchbox.client.config.HttpClientConfig;

import io.searchbox.core.Bulk;

import io.searchbox.core.BulkResult;

import io.searchbox.core.Count;

import io.searchbox.core.CountResult;

import io.searchbox.core.Delete;

import io.searchbox.core.DocumentResult;

import io.searchbox.core.Get;

import io.searchbox.core.Index;

import io.searchbox.core.Search;

import io.searchbox.core.SearchResult;

import io.searchbox.indices.CreateIndex;

import io.searchbox.indices.DeleteIndex;

import io.searchbox.indices.mapping.GetMapping;

import io.searchbox.indices.mapping.PutMapping;

/**

* Jest操作ES工具类

* &＃64;author wuhoujian

public class JestUtil {

/**

* 获取JestClient对象

* &＃64;return

public static JestClient getJestClient() {

JestClientFactory factory &＃61; new JestClientFactory();

factory.setHttpClientConfig(new HttpClientConfig.Builder("http://127.0.0.1:9200")

.gson(new GsonBuilder().setDateFormat("yyyy-MM-dd&＃39;T&＃39;hh:mm:ss").create()).connTimeout(1500)

.readTimeout(3000).multiThreaded(true).build());

return factory.getObject();

}

/**

* 创建索引

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;return

* &＃64;throws Exception

public boolean createIndex(JestClient jestClient, String indexName) throws Exception {

JestResult jr &＃61; jestClient.execute(new CreateIndex.Builder(indexName).build());

return jr.isSucceeded();

}

/**

* Put映射

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param source

* &＃64;return

* &＃64;throws Exception

public boolean createIndexMapping(JestClient jestClient, String indexName, String typeName, String source)

throws Exception {

PutMapping putMapping &＃61; new PutMapping.Builder(indexName, typeName, source).build();

JestResult jr &＃61; jestClient.execute(putMapping);

return jr.isSucceeded();

}

/**

* Get映射

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;return

* &＃64;throws Exception

public String getIndexMapping(JestClient jestClient, String indexName, String typeName) throws Exception {

GetMapping getMapping &＃61; new GetMapping.Builder().addIndex(indexName).addType(typeName).build();

JestResult jr &＃61; jestClient.execute(getMapping);

return jr.getJsonString();

}

/**

* 索引文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param objs

* &＃64;return

* &＃64;throws Exception

public boolean index(JestClient jestClient, String indexName, String typeName, List objs) throws Exception {

Bulk.Builder bulk &＃61; new Bulk.Builder().defaultIndex(indexName).defaultType(typeName);

for (Object obj : objs) {

Index index &＃61; new Index.Builder(obj).build();

bulk.addAction(index);

}

BulkResult br &＃61; jestClient.execute(bulk.build());

return br.isSucceeded();

}

/**

* 搜索文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param query

* &＃64;return

* &＃64;throws Exception

public SearchResult search(JestClient jestClient, String indexName, String typeName, String query)

throws Exception {

Search search &＃61; new Search.Builder(query).addIndex(indexName).addType(typeName).build();

return jestClient.execute(search);

}

/**

* Count文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param query

* &＃64;return

* &＃64;throws Exception

public Double count(JestClient jestClient, String indexName, String typeName, String query) throws Exception {

Count count &＃61; new Count.Builder().addIndex(indexName).addType(typeName).query(query).build();

CountResult results &＃61; jestClient.execute(count);

return results.getCount();

}

/**

* Get文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param id

* &＃64;return

* &＃64;throws Exception

public static JestResult get(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

Get get &＃61; new Get.Builder(indexName, id).type(typeName).build();

return jestClient.execute(get);

}

/**

* Delete索引

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;return

* &＃64;throws Exception

public boolean delete(JestClient jestClient, String indexName) throws Exception {

JestResult jr &＃61; jestClient.execute(new DeleteIndex.Builder(indexName).build());

return jr.isSucceeded();

}

/**

* Delete文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param id

* &＃64;return

* &＃64;throws Exception

public boolean delete(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

DocumentResult dr &＃61; jestClient.execute(new Delete.Builder(id).index(indexName).type(typeName).build());

return dr.isSucceeded();

}

步骤三&＃xff1a;编码访问ES

JestResult jestResult &＃61; JestUtil.get(JestUtil.getJestClient(), "jizhitong", "pattern", "5");

System.out.println(jestResult.getSourceAsString());

推荐阅读

text
掌握Java EE的全面指南

探讨如何真正掌握Java EE，包括所需技能、工具和实践经验。资深软件教学总监李刚分享了对毕业生简历中常见问题的看法，并提供了详尽的标准。 ... [详细]

蜡笔小新 2024-12-25 13:38:29
ip
技术变现之道：从日常工作中挖掘潜力

本文探讨了如何在日常工作中通过优化效率和深入研究核心技术，将技术和知识转化为实际收益。文章结合个人经验，分享了提高工作效率、掌握高价值技能以及选择合适工作环境的方法，帮助读者更好地实现技术变现。 ... [详细]

蜡笔小新 2024-12-24 15:21:23
format
深入解析网络存储技术

本文详细介绍了网络存储技术的基本概念、分类及应用场景。通过分析直连式存储（DAS）、网络附加存储（NAS）和存储区域网络（SAN）的特点，帮助读者理解不同存储方式的优势与局限性。 ... [详细]

蜡笔小新 2024-12-24 10:38:34
ip
Web与游戏开发的主要差异

本文探讨了Web开发与游戏开发之间的主要区别，旨在帮助开发者更好地理解两种开发领域的特性和需求。文章基于作者的实际经验和网络资料整理而成。 ... [详细]

蜡笔小新 2024-12-18 08:26:30
ip
精通Spring Cloud：从入门到实践的全面指南

Spring Cloud因其强大的功能和灵活性，被誉为开发分布式系统的‘一站式’解决方案。它不仅简化了分布式系统中的常见模式实现，还被广泛应用于企业级生产环境中。本书内容详实，覆盖了从微服务基础到Spring Cloud的高级应用，适合各层次的开发者。 ... [详细]

蜡笔小新 2024-12-16 16:21:23
ip
Elasticsearch (ES) 基础概念解析

本文介绍了Elasticsearch (ES)，这是一个基于Java开发的开源全文搜索引擎。ES通过JSON接口提供服务，支持分布式集群管理和索引功能，特别适合大规模数据的快速搜索与分析。 ... [详细]

蜡笔小新 2024-12-06 18:41:45
ip
Java编程的核心要素与关键技术

本文探讨了Java编程的核心要素，特别是其面向对象的特性，并详细介绍了Java虚拟机、类装载器体系结构、Java类文件和Java API等关键技术。这些技术使得Java成为一种功能强大且易于使用的编程语言。 ... [详细]

蜡笔小新 2024-12-23 12:58:30
ip
为何我选择了华为云GaussDB数据库

本文分享了作者选择华为云GaussDB数据库的理由，详细介绍了GaussDB(for MySQL)的技术特性和优势，以及它在金融和互联网行业的应用场景。 ... [详细]

蜡笔小新 2024-12-19 10:59:22
ip
Spring Cloud学习指南：深入理解微服务架构

本文介绍了微服务架构的基本概念及其在Spring Cloud中的实现。讨论了微服务架构的主要优势，如简化开发和维护、快速启动、灵活的技术栈选择以及按需扩展的能力。同时，也探讨了微服务架构面临的挑战，包括较高的运维要求、分布式系统的复杂性、接口调整的成本等问题。最后，文章提出了实施微服务时应遵循的设计原则。 ... [详细]

蜡笔小新 2024-12-19 09:25:36
text
最强阿里及大厂350道面试大全：框架+数据库+并发+开源+微服务

前言无论是对于刚入行工作还是已经工作几年的java开发者来说，面试求职始终是你需要直面的一件事情。首先梳理自己的知识体系，针对性准备，会有事半功倍的效果。我们往往会把重点放在技术上 ... [详细]

蜡笔小新 2024-12-18 15:33:00
ip
收割机|篇幅_国内最牛逼的笔记，不接受反驳！！

收割机|篇幅_国内最牛逼的笔记，不接受反驳！！ ... [详细]

蜡笔小新 2024-12-14 10:20:42
client
58同城的Elasticsearch应用与平台构建实践

本文由58同城高级架构师于伯伟分享，由陈树昌编辑整理，内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用，特别是在58同城的实施案例，包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]

蜡笔小新 2024-12-11 19:31:21
search
构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系

本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责，确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]

蜡笔小新 2024-12-08 14:48:22
search
解决Hibernate Search 6与Elasticsearch集成时遇到的问题

本文探讨了如何将Hibernate Search 6（当前为Beta版）与Elasticsearch成功集成，特别是当遇到特定错误时的解决方案。 ... [详细]

蜡笔小新 2024-12-06 14:36:59
search
Flask RESTful API 设计指南

本文探讨了为何采用RESTful架构及其优势，特别是在现代Web应用开发中的重要性。通过前后端分离和统一接口设计，RESTful API能够提高开发效率，支持多种客户端，并简化维护。 ... [详细]

蜡笔小新 2024-12-03 19:41:21

Tags | 热门标签

RankList | 热门文章