热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

通过SparkJava从弹性搜索中读取数据

我正在使用下面的Java代码读取esURLpublicstaticvoidmain(String[]args){SparkConf

我正在使用下面的Java代码读取es URL

public static void main(String[] args) {
SparkConf sparkCOnf= new SparkConf(true);
sparkConf.setappName(SparkMeasures.class.getName());
sparkConf.setMaster("local[*]");
sparkConf.set("spark.cleaner.ttl","3600");
sparkConf.set("es.nodes","SMD-GUG-TC1");
sparkConf.set("es.port","9204");
//sparkConf.set("es.resource.read","test/doc");
sparkConf.set("es.nodes.discovery","false");
sparkConf.set("es.nodes.wan.only","true");
sparkConf.set("es.field.read.empty.as.null","true");
sparkConf.set("es.nodes.client.only","true");
sparkConf.set("es.index.auto.create","true");
// http://SMD-GUG-TC1:9204/patient/
SparkSession spark = null;
try {
spark = SparkSession.builder().config(sparkConf).getOrCreate();
//spark = SparkSession.builder().set.config(sparkConf).getOrCreate();
//// JavaSparkContext jsc = new JavaSparkContext(sparkConf);
SparkContext sc = spark.sparkContext();
JavaSparkContext jsc = JavaSparkContext.fromSparkContext(sc);
JavaPairRDD> esRDD
= JavaEsspark.esRDD(jsc,"patient/doc");
esRDD.count();
} catch (Exception e) {
e.printStackTrace();
}

但出现错误,


  

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:找不到ID为[pqGdMxvTR8uHQnjCx5lwbw]的节点(是否启用了HTTP?)





推荐阅读
author-avatar
安安ahui
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有