Logstash同步Oracle数据到ElasticSearch

最近在项目上应用到了ElasticSearch和Logstash，在此主要记录了Logstash-input-jdbc同步Oracle数据库到ElasticSearch的主要步骤，本文是对环境进行简单的配置，如需在实际环境中运行还需要进一步调整。

• 首先要配置服务器环境
  • 安装Java
  • 安装ElasticSearch（我用的版本是2.4.0）
  • 安装head插件（用于在浏览器查看状态和数据，非必须）
  • 安装Logstash
  • 安装logstash-input-jdbc：在ElasticSearch安装目录下运行命令:bin/plugin install logstash-input-jdbc，成功会有提示。
  • 安装 elasticsearch-jdbc-2.3.4.1：运行命令：wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.4.1/elasticsearch-jdbc-2.3.4.1-dist.zip
• 配置同步数据
  • 将oracle安装目录下的ojdbc6.jar拷贝到elasticsearch-jdbc-2.3.4.1的lib目录下（此包是同步oracle数据库的驱动程序）
  • 配置同步文件：在logstash/bin目录下新建jdbc_oracle.conf文件，配置内容如下：
    • input{
    stdin{
     
    }
    jdbc{
    jdbc_connection_string => "jdbc:oracle:thin:@//192.168.1.16:1521/db"
    jdbc_user => "systemadmin"
    jdbc_password => "systemadmin"
    jdbc_driver_library => "/home/oracle/elasticsearch-jdbc-2.3.4.1/lib/ojdbc6.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    record_last_run => "true"
    use_column_value => "false"
    tracking_column => "id"
    last_run_metadata_path => "/home/oracle/es/info"
    clean_run => "false"
     
    jdbc_paging_enabled => "true"
    jdbc_page_size => "50000"
    statement_filepath =>"/home/oracle/es/jdbc_oracle.sql"
    schedule => "* * * * *"
    type => "tstype"
    }
    }
     
    output{
    elasticsearch{
    hosts => "localhost:9200"
    index => "tsuser"
    document_id => "%{id}"
    }
    }
  • 创建sql脚本对应配置脚本中的statement_filepath：jdbc_oracle.sql，脚本中写sql语句即可，本例中写的是：select * from users
  • 在logstash/bin下启动程序： ./logstash -f jdbc_oracle.conf
  • 使用head查看数据已经同步成功。

 

 

标签:  ElasticSearch,  logstash-input-jdbc