unbuntu下安装Elasticsrearch+logstash+elasticsearchanalysisik

2019独角兽企业重金招聘Python工程师标准>>>

1. 安装 elasticsearch

第一次使用的是 apt-get 的安装方式, 应该是软件源没设置为最新的, 结果安装的版本为1.7x的, 果断删除.

第二次直接将 elasticsearch 的 zip 包下载下来安装.

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip
unzip elasticsearch-5.5.1.zip
配置. 将elasticsearch.yml 的 cluster.name 的注释打开, 可以自己根据情况修改名称. 将node.name注释打开. 如果需要非当前主机以外的 ip 可以访问则需要将 network.host的注释打开,并且将值修改为 0.0.0.0, 也可以指定几个固定的 ip 访问, 不同 ip 之间用,号隔开即可. 如果需要修改默认的端口,需要将http.port的注释打开,并且修改后面的值
配置完成以后就可以调用 bin 目录下的 elasticsearch 来启动了.

2. 安装 logstash

使用 logstash 将 mysq 里的表数据自动同步到 elasticsearch

按照官方的文档给出的apt-get方式安装

Download and install the Public Signing Key:

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

You may need to install the apt-transport-https package on Debian before proceeding:

sudo apt-get install apt-transport-https

Save the repository definition to /etc/apt/sources.list.d/elastic-5.x.list:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

最后就可以安装5.5.1版的 logstash 了

sudo apt-get update && sudo apt-get install logstash

3. 安装logstash的 jdbc 插件 logstash-input-jdbc

因为 logstash-input-jdbc 是使用 ruby 开发的, 所以要修改一下 gem 的源, 不然安装的过程中请求资源的时候会下不动, 因为有些依赖是放在亚马逊上了的.

修改 logstash 下的Gemfile 数据源

将 Gemfile 里的 source 值修改为 https://ruby.taobao.org

将 Gemfile.jruby-1.o.lock 下的第二个 remote 值修改为 https://ruby.taobao.org
安装 logstash-input-jdbc

进入到 logstash 的根目录下, 执行 bin/logstash-plugin install logstash-input-jdbc, 等待一会以后就会安装成功.

配置

在 logstash 下创建文件夹, logstash_jdbc_xxx 根据自己需要建即可

下载mysql-connector-java-5.1.38.jar放到刚创建的文件夹下
编写配置文件 jdbc.conf

jdbc.conf:

input{stdin {}jdbc {jdbc_connection_string &＃61;> "jdbc:mysql://192.168.2.19:3306/survey_acquisition_faq"jdbc_user &＃61;> "xxx"jdbc_password &＃61;> "xxx"# the path to our downloaded jdbc driverjdbc_driver_library &＃61;> "/usr/share/logstash/bin/logstash_jdbc_faq/mysql-connector-java-5.1.38.jar"# the name of the driver class for mysqljdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"jdbc_paging_enabled &＃61;> truejdbc_page_size &＃61;> "50000"statement_filepath &＃61;> "/usr/share/logstash/bin/logstash_jdbc_faq/sql/t_help_document.sql"schedule &＃61;> "* * * * *"type &＃61;> "faq_help_document"record_last_run &＃61;> trueuse_column_value &＃61;> truetracking_column &＃61;> "update_time"clean_run &＃61;> true}jdbc {jdbc_connection_string &＃61;> "jdbc:mysql://192.168.2.19:3306/survey_acquisition_faq"jdbc_user &＃61;> "xxx"jdbc_password &＃61;> "xxx"# the path to our downloaded jdbc driverjdbc_driver_library &＃61;> "/usr/share/logstash/bin/logstash_jdbc_faq/mysql-connector-java-5.1.38.jar"# the name of the driver class for mysqljdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"jdbc_paging_enabled &＃61;> truejdbc_page_size &＃61;> "50000"statement_filepath &＃61;> "/usr/share/logstash/bin/logstash_jdbc_faq/sql/t_question.sql"schedule &＃61;> "* * * * *"type &＃61;> "faq_help_question"record_last_run &＃61;> trueuse_column_value &＃61;> truetracking_column &＃61;> "update_time"clean_run &＃61;> true}jdbc {jdbc_connection_string &＃61;> "jdbc:mysql://192.168.2.19:3306/survey_acquisition_faq"jdbc_user &＃61;> "xxx"jdbc_password &＃61;> "xxx"# the path to our downloaded jdbc driverjdbc_driver_library &＃61;> "/usr/share/logstash/bin/logstash_jdbc_faq/mysql-connector-java-5.1.38.jar"# the name of the driver class for mysqljdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"jdbc_paging_enabled &＃61;> truejdbc_page_size &＃61;> "50000"statement_filepath &＃61;> "/usr/share/logstash/bin/logstash_jdbc_faq/sql/t_video.sql"schedule &＃61;> "* * * * *"type &＃61;> "faq_help_video"record_last_run &＃61;> trueuse_column_value &＃61;> truetracking_column &＃61;> "update_time"clean_run &＃61;> true} }filter {json {source &＃61;> "message"remove_field &＃61;> ["message"]} }output {elasticsearch {hosts &＃61;> "127.0.0.1:9200"index &＃61;> "survey-faq"document_id &＃61;> "%{id}"template_overwrite &＃61;> truetemplate &＃61;> "/usr/share/logstash/template/logstash.json"}stdout {codec &＃61;> json_lines} }