热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

solrCloud分布式集群安装配置

solrCloud分布式集群安装配置1.前提安装Zookeeper集群2.安装部署多个solr节点10.41.2.82





solrCloud分布式集群安装配置


1.前提


安装Zookeeper集群






2.安装部署多个solr节点


10.41.2.82


10.41.2.83


10.41.2.84


10.41.2.86






mkdir  -p   /usr/local/search


scp   -r    10.41.2.82:/usr/local/search/solr          /usr/local/search/



scp   -r    10.41.2.82:/usr/local/search/tomcat          /usr/local/search/









2.配置


 


  配置主要是将tomcat与Zookeeper相关联。



 修改
tomcat 

 bin
目录下
catalina.sh
文件。



2.1配置第一个节点(10.41.2.82)


solrCloud将配置信息存放在Zookeeper中,供其他节点共享。因此需要在一个节点上配置solrCloud的信息,其他节点无需配置,即可从Zookeeper中获取。


vi   /usr/local/search/tomcat/apache-tomcat-7.0.55/bin/catalina.sh


JAVA_OPTS="-Dbootstrap_cOnfdir=/usr/local/search/solr/solrhome/data/solr/collection1/conf -Dcollection.cOnfigName=solrconf -DzkHost=10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181 -DnumShards=2    $JAVA_OPTS
"























2.2配置其他节点(10.41.2.83,10.41.2.84,10.41.2.86)



vi   /usr/local/search/tomcat/apache-tomcat-7.0.55/bin/catalina.sh
JAVA_OPTS="-DzkHost=10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181  $JAVA_OPTS"



















2.3配置solr Collection


vi   /usr/local/search/solr/solrhome/data/solr/solr.xml













 


    ${host:}


    8080


    ${hostContext:solr}


    ${zkClientTimeout:30000}


    ${genericCoreNodeNames:true}


    10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181


 






 


    class="HttpShardHandlerFactory">


    ${socketTimeout:0}


    ${connTimeout:0}


 

























2.4移除
core.properties





rm  -fr   /usr/local/search/solr/solrhome/data/solr/collection1/core.properties







(这样集群启动后就没有core









3.启停


3.1启动


3.1.1启动Zookeeper


/usr/local/zookeeper/zookeeper-3.4.5/bin/zkServer.sh start








3.1.2启动tomcat


注意:先启动有solrCloud配置信息的那个节点,这里是10.41.2.82


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/startup.sh






3.2停止


3.2.1停止tomcat


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/shutdown.sh








3.2.2停止Zookeeper



/usr/local/zookeeper/zookeeper-3.4.5/bin/zkServer.sh stop











4.测试


4.1访问Web-UI


http://10.41.2.82:8080/solr






http://10.41.2.82:8080/solr/#/~cloud



















4.2创建collection,shard ,core


4.2.1创建Collection,自动分配shard和replica


curl  "http://10.41.2.82:8080/solr/admin/collections?action=CREATE&name=jinan&numShards=2&replicatiOnFactor=2&maxShardsPerNode=2”


  这样会出来一个名称为jinan的collection,它有2个shard,每个shard1个数据节点,1个备份节点,即该collection共有4个core


  缺点:不灵活,不能选择适合的节点,不能选择数据存放路径,不能选择实例存放路径


 




访问:


http://10.41.2.82:8080/solr/#/~cloud








可以看出创建了一个connection





删除Collection:


http://10.41.2.82:8080/solr/admin/collections?action=DELETE&name=jinan







4.2.2创建Collection,手动分配shard和replica(推荐使用该方法,因为可控性强)











curl "http://10.41.2.82:8080/solr/admin/cores?action=CREATE&name=inspur-shard1-replica1&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica1&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica1/data&collection=inspur&shard=shard1" 



curl "http://10.41.2.83:8080/solr/admin/cores?action=CREATE&name=inspur-shard1-replica2&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica2&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica2/data&collection=inspur&shard=shard1" 


   

curl "http://10.41.2.84:8080/solr/admin/cores?action=CREATE&name=inspur-shard2-replica1&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica1&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica1/data&collection=inspur&shard=shard2" 



curl "http://10.41.2.86:8080/solr/admin/cores?action=CREATE&name=inspur-shard2-replica2&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica2&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica2/data&collection=inspur&shard=shard2" 


























访问
http://10.41.2.82:8080/solr/#/~cloud



















5.添加节点


5.1部署新的节点(10.41.2.85)




mkdir  -p   /usr/local/search


scp   -r    10.41.2.82:/usr/local/search/solr          /usr/local/search/



scp   -r    10.41.2.82:/usr/local/search/tomcat          /usr/local/search/



5.2修改配置


因为是直接拷贝过来的,路径都是一样的,所以无需配置






5.3删除拷贝过来一些已经创建的core目录






rm  -fr  /usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica1/*


rm -fr  /usr/local/search/solr/solrhome/data/solr/jinan_shard1_replica1


rm  -fr   /usr/local/search/solr/solrhome/data/solr/jinan_shard1_replica2


rm  -fr   /usr/local/search/solr/solrhome/data/solr/collection1/data/*






5.4启动节点


5.4.1修改启动脚本catalina.sh






JAVA_OPTS="-DzkHost=10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181 $JAVA_OPTS"















5.4.2启动


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/startup.sh






5.5访问Web-UI






http://10.41.2.82:8080/solr/#/~cloud



















可以看出节点10.41.2.85已经加入到了名称为jinan的collection中了。






5.5手工新增core







curl "
http://10.41.2.85:8080/solr/admin/cores?action=CREATE&name=inspur-shard2-replica3&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica3&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica3/data&collection=inspur&shard=shard2" 










访问Web-UI






http://10.41.2.82:8080/solr/#/~cloud


















可以看出新增节点已经加入到名称为inspur的collection中。






6.删除节点


只要每个shard中至少有一个节点存活就可以保证solrCloud的可用性。


将节点10.41.2.83停掉


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/shutdown.sh







访问Web-UI






http://10.41.2.82:8080/solr/#/~cloud














可以看出节点10.41.2.83节点的状态已经变成不可用的,使用其他的节点来替代它









推荐阅读
  • 前言无论是对于刚入行工作还是已经工作几年的java开发者来说,面试求职始终是你需要直面的一件事情。首先梳理自己的知识体系,针对性准备,会有事半功倍的效果。我们往往会把重点放在技术上 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • 本文作者分享了在阿里巴巴获得实习offer的经历,包括五轮面试的详细内容和经验总结。其中四轮为技术面试,一轮为HR面试,涵盖了大量的Java技术和项目实践经验。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
  • java程序员_Java程序员最新职业规划,逆袭面经分享
    java程序员_Java程序员最新职业规划,逆袭面经分享 ... [详细]
  • 2018深入java目标计划及学习内容
    本文介绍了作者在2018年的深入java目标计划,包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中,作者对jvm的学习有一定了解,并计划通读《jvm》一书。此外,作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]
  • Python第三方库安装的多种途径及注意事项
    本文详细介绍了Python第三方库的几种常见安装方法,包括使用pip命令、集成开发环境(如Anaconda)以及手动文件安装,并提供了每种方法的具体操作步骤和适用场景。 ... [详细]
  • Ulysses Mac v29:革新文本编辑与写作体验
    探索Ulysses Mac v29,这款先进的纯文本编辑器为Mac用户带来了全新的写作和编辑环境。它不仅具备简洁直观的界面,还融合了Markdown等标记语言的最佳特性,支持多种格式导出,并提供强大的组织和同步功能。 ... [详细]
  • 云函数与数据库API实现增删查改的对比
    本文将深入探讨使用云函数和数据库API实现数据操作(增删查改)的不同方法,通过详细的代码示例帮助读者更好地理解和掌握这些技术。文章不仅提供代码实现,还解释了每种方法的特点和适用场景。 ... [详细]
  • PostgreSQL 最新动态 —— 2022年4月6日
    了解 PostgreSQL 社区的最新进展和技术分享 ... [详细]
  • 本文详细介绍了如何使用 HTML 和 CSS 对文件上传按钮进行样式美化,使用户界面更加友好和美观。 ... [详细]
  • Spring Cloud学习指南:深入理解微服务架构
    本文介绍了微服务架构的基本概念及其在Spring Cloud中的实现。讨论了微服务架构的主要优势,如简化开发和维护、快速启动、灵活的技术栈选择以及按需扩展的能力。同时,也探讨了微服务架构面临的挑战,包括较高的运维要求、分布式系统的复杂性、接口调整的成本等问题。最后,文章提出了实施微服务时应遵循的设计原则。 ... [详细]
  • 本文介绍了Elasticsearch (ES),这是一个基于Java开发的开源全文搜索引擎。ES通过JSON接口提供服务,支持分布式集群管理和索引功能,特别适合大规模数据的快速搜索与分析。 ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
author-avatar
孤鹰与战狼
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有