热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

使用logstash将mysql与elasticsearch同步

我有带有嵌套标签字段的产品文档,每次从数据库获取更新的产品记录时都使用logsta

我有带有嵌套标签字段的产品文档,每次从数据库获取更新的产品记录时都使用logstash,但是当单独更新与产品相关的标签时,logstash如何能够检测到子记录已更新然后更新产品文档的问题是可能的,以及如何实现那个目标?

这是Logstash配置文件

input {
jdbc {
jdbc_driver_library => "mysql-connector-java-5.1.47-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://localhost:3306/aurora_cms?useSSL=false&allowPublicKeyRetrieval=true"
jdbc_user => "root"
jdbc_password => "root"
statement => "select * from product where updated_date > :sql_last_value"
schedule=>"*/10 * * * * *"
}
}
filter {
jdbc_streaming {
jdbc_driver_library => "mysql-connector-java-5.1.47-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://localhost:3306/aurora_cms?useSSL=false&allowPublicKeyRetrieval=true"
jdbc_user => "root"
jdbc_password => "root"
statement => "select name
from tag
where product_id= :id"
parameters => { id => "product_id"}
target => "tags"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
document_id => "%{product_id}"
index => "products"
document_type => "products"
}
}





推荐阅读
author-avatar
笑看天下
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有