4、增量更新mysql数据

接着上面一个文章https://my.oschina.net/u/2601303/blog/1503835。

如果需要增量更新。其配置文件如下&＃xff1a;

input {stdin { } jdbc {jdbc_driver_library &＃61;> "G:/MvnRepository/mysql/mysql-connector-java/5.1.41/mysql-connector-java-5.1.41.jar"jdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"jdbc_connection_string &＃61;> "jdbc:mysql://localhost:3306/xnc"jdbc_user &＃61;> "root"jdbc_password &＃61;> "123456"schedule &＃61;> "* * * * *"#在文件中记录列的值use_column_value &＃61;> true#需要记录哪个列的值tracking_column &＃61;> "update_time"#列值记录在哪个文件 默认值是 "/home/ph/.logstash_jdbc_last_run"last_run_metadata_path &＃61;> "G:\logstash-5.5.1\myPlugin\.logstash_jdbc_last_run"# :sql_last_value 引用记录的列值statement &＃61;> "SELECT id, product_spec_id,zone_id,recorded_by,CAST(price_per_unit AS CHAR) price_per_unit,uom,latest,recording_date,create_time,update_time from price p where update_time > :sql_last_value order by update_time asc"jdbc_paging_enabled &＃61;> "true"jdbc_page_size &＃61;> "50000"}
}
output {#标准输出。为了测试stdout { codec &＃61;> rubydebug }jdbc {driver_class &＃61;> "com.mysql.jdbc.Driver"driver_jar_path &＃61;> "G:/MvnRepository/mysql/mysql-connector-java/5.1.41/mysql-connector-java-5.1.41.jar"connection_string &＃61;> "jdbc:mysql://localhost:3306/xncprice"username &＃61;> "root"password &＃61;> "123456"statement &＃61;> [ "REPLACE INTO price (id, product_spec_id, zone_id,recorded_by,price_per_unit,uom,latest,recording_date,create_time,update_time) VALUES(?,?,?,?,CAST(? AS decimal),?,?,?,?,?)", "id", "product_spec_id", "zone_id", "recorded_by","price_per_unit", "uom" , "latest" , "recording_date" , "create_time" , "update_time" ]}}

说明&＃xff1a;

    #在文件中记录列的值
    use_column_value &＃61;> true
    #需要记录哪个列的值
    tracking_column &＃61;> "update_time"
    #列值记录在哪个文件 默认值是 "/home/ph/.logstash_jdbc_last_run"
    last_run_metadata_path &＃61;> "G:\logstash-5.5.1\myPlugin\.logstash_jdbc_last_run"

• 上面这3个参数联合起来表示&＃xff1a;   在G:\logstash-5.5.1\myPlugin\.logstash_jdbc_last_run 文件中记录update_time列的值。也就是记录查询出中的price的最后一条数据中&＃xff0c;update_time的值。
•     注意sql语句需要order by update_time desc &＃xff0c;这样记录的最后一条。后面的更新就以这个为标准。

官网&＃xff1a;https://github.com/logstash-plugins/logstash-input-jdbc/blob/master/docs/index.asciidoc

http://www.cnblogs.com/licongyu/p/5383334.html