热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

solrCloud分布式集群安装配置

solrCloud分布式集群安装配置1.前提安装Zookeeper集群2.安装部署多个solr节点10.41.2.82





solrCloud分布式集群安装配置


1.前提


安装Zookeeper集群






2.安装部署多个solr节点


10.41.2.82


10.41.2.83


10.41.2.84


10.41.2.86






mkdir  -p   /usr/local/search


scp   -r    10.41.2.82:/usr/local/search/solr          /usr/local/search/



scp   -r    10.41.2.82:/usr/local/search/tomcat          /usr/local/search/









2.配置


 


  配置主要是将tomcat与Zookeeper相关联。



 修改
tomcat 

 bin
目录下
catalina.sh
文件。



2.1配置第一个节点(10.41.2.82)


solrCloud将配置信息存放在Zookeeper中,供其他节点共享。因此需要在一个节点上配置solrCloud的信息,其他节点无需配置,即可从Zookeeper中获取。


vi   /usr/local/search/tomcat/apache-tomcat-7.0.55/bin/catalina.sh


JAVA_OPTS="-Dbootstrap_cOnfdir=/usr/local/search/solr/solrhome/data/solr/collection1/conf -Dcollection.cOnfigName=solrconf -DzkHost=10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181 -DnumShards=2    $JAVA_OPTS
"























2.2配置其他节点(10.41.2.83,10.41.2.84,10.41.2.86)



vi   /usr/local/search/tomcat/apache-tomcat-7.0.55/bin/catalina.sh
JAVA_OPTS="-DzkHost=10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181  $JAVA_OPTS"



















2.3配置solr Collection


vi   /usr/local/search/solr/solrhome/data/solr/solr.xml













 


    ${host:}


    8080


    ${hostContext:solr}


    ${zkClientTimeout:30000}


    ${genericCoreNodeNames:true}


    10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181


 






 


    class="HttpShardHandlerFactory">


    ${socketTimeout:0}


    ${connTimeout:0}


 

























2.4移除
core.properties





rm  -fr   /usr/local/search/solr/solrhome/data/solr/collection1/core.properties







(这样集群启动后就没有core









3.启停


3.1启动


3.1.1启动Zookeeper


/usr/local/zookeeper/zookeeper-3.4.5/bin/zkServer.sh start








3.1.2启动tomcat


注意:先启动有solrCloud配置信息的那个节点,这里是10.41.2.82


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/startup.sh






3.2停止


3.2.1停止tomcat


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/shutdown.sh








3.2.2停止Zookeeper



/usr/local/zookeeper/zookeeper-3.4.5/bin/zkServer.sh stop











4.测试


4.1访问Web-UI


http://10.41.2.82:8080/solr






http://10.41.2.82:8080/solr/#/~cloud



















4.2创建collection,shard ,core


4.2.1创建Collection,自动分配shard和replica


curl  "http://10.41.2.82:8080/solr/admin/collections?action=CREATE&name=jinan&numShards=2&replicatiOnFactor=2&maxShardsPerNode=2”


  这样会出来一个名称为jinan的collection,它有2个shard,每个shard1个数据节点,1个备份节点,即该collection共有4个core


  缺点:不灵活,不能选择适合的节点,不能选择数据存放路径,不能选择实例存放路径


 




访问:


http://10.41.2.82:8080/solr/#/~cloud








可以看出创建了一个connection





删除Collection:


http://10.41.2.82:8080/solr/admin/collections?action=DELETE&name=jinan







4.2.2创建Collection,手动分配shard和replica(推荐使用该方法,因为可控性强)











curl "http://10.41.2.82:8080/solr/admin/cores?action=CREATE&name=inspur-shard1-replica1&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica1&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica1/data&collection=inspur&shard=shard1" 



curl "http://10.41.2.83:8080/solr/admin/cores?action=CREATE&name=inspur-shard1-replica2&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica2&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica2/data&collection=inspur&shard=shard1" 


   

curl "http://10.41.2.84:8080/solr/admin/cores?action=CREATE&name=inspur-shard2-replica1&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica1&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica1/data&collection=inspur&shard=shard2" 



curl "http://10.41.2.86:8080/solr/admin/cores?action=CREATE&name=inspur-shard2-replica2&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica2&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica2/data&collection=inspur&shard=shard2" 


























访问
http://10.41.2.82:8080/solr/#/~cloud



















5.添加节点


5.1部署新的节点(10.41.2.85)




mkdir  -p   /usr/local/search


scp   -r    10.41.2.82:/usr/local/search/solr          /usr/local/search/



scp   -r    10.41.2.82:/usr/local/search/tomcat          /usr/local/search/



5.2修改配置


因为是直接拷贝过来的,路径都是一样的,所以无需配置






5.3删除拷贝过来一些已经创建的core目录






rm  -fr  /usr/local/search/solr/solrhome/data/solr/inspur-shard1-replica1/*


rm -fr  /usr/local/search/solr/solrhome/data/solr/jinan_shard1_replica1


rm  -fr   /usr/local/search/solr/solrhome/data/solr/jinan_shard1_replica2


rm  -fr   /usr/local/search/solr/solrhome/data/solr/collection1/data/*






5.4启动节点


5.4.1修改启动脚本catalina.sh






JAVA_OPTS="-DzkHost=10.41.2.82:2181,10.41.2.83:2181,10.41.2.84:2181,10.41.2.85:2181,10.41.2.86:2181 $JAVA_OPTS"















5.4.2启动


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/startup.sh






5.5访问Web-UI






http://10.41.2.82:8080/solr/#/~cloud



















可以看出节点10.41.2.85已经加入到了名称为jinan的collection中了。






5.5手工新增core







curl "
http://10.41.2.85:8080/solr/admin/cores?action=CREATE&name=inspur-shard2-replica3&instanceDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica3&dataDir=/usr/local/search/solr/solrhome/data/solr/inspur-shard2-replica3/data&collection=inspur&shard=shard2" 










访问Web-UI






http://10.41.2.82:8080/solr/#/~cloud


















可以看出新增节点已经加入到名称为inspur的collection中。






6.删除节点


只要每个shard中至少有一个节点存活就可以保证solrCloud的可用性。


将节点10.41.2.83停掉


/usr/local/search/tomcat/apache-tomcat-7.0.55/bin/shutdown.sh







访问Web-UI






http://10.41.2.82:8080/solr/#/~cloud














可以看出节点10.41.2.83节点的状态已经变成不可用的,使用其他的节点来替代它









推荐阅读
  • 持续集成概述与实践指南
    本文探讨了持续集成(CI)的基本概念、目的及其在现代软件开发中的应用。通过实例分析,帮助读者理解如何有效实施持续集成,提高软件开发效率。 ... [详细]
  • 构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系
    本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责,确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]
  • SharePoint Portal Server 2003 部署指南
    本文详细介绍了如何在一个实验环境中部署SharePoint Portal Server 2003,包括网络拓扑、所需服务器角色及具体步骤。通过本文,读者可以了解SharePoint Portal Server 2003的安装和配置过程。 ... [详细]
  • 现代软件工程开发体验:结对编程
    距现代软件工程开课已经3周,按照课程安排,在最近的9天中,我们进行了极限编程模式的体验:pairwork(结对编程,具体见链接),对象是在academicsearchmap上添加一些新特性。经过选 ... [详细]
  • 本文详细探讨了虚拟化的基本概念,包括服务器虚拟化、网络虚拟化及其在云计算环境中的应用。特别强调了SDN技术在网络虚拟化和云计算中的关键作用,以及网络虚拟化技术如何提升资源利用效率和管理灵活性。 ... [详细]
  • 深入解析:主流开源分布式文件系统综述
    本文详细探讨了几款主流的开源分布式文件系统,包括HDFS、MooseFS、Lustre、GlusterFS和CephFS,重点分析了它们的元数据管理和数据一致性机制,旨在为读者提供深入的技术见解。 ... [详细]
  • 在CentOS上构建Ntopng实时网络流量监控平台
    本文详细介绍了如何在CentOS操作系统上安装和配置Ntopng,一个强大的网络流量监控工具。Ntopng能够提供实时的网络流量分析,并通过Web界面展示详细的流量报告。 ... [详细]
  • 大数据时代的机器学习:人工特征工程与线性模型的局限
    本文探讨了在大数据背景下,人工特征工程与线性模型的应用及其局限性。随着数据量的激增和技术的进步,传统的特征工程方法面临挑战,文章提出了未来发展的可能方向。 ... [详细]
  • ArchSummit深圳2014将于7月18日拉开帷幕,所有讲师已确认,涵盖9个热门话题,共36场精彩报告。InfoQ中文站提供了详细的讲师和报告列表。 ... [详细]
  • Django Admin 插件详解与应用
    本文介绍了 Django Admin 的主要功能及其在项目开发中的作用,包括如何通过模型类操作数据库、自定义 Admin 方法以及多种配置选项,旨在帮助开发者快速掌握 Django Admin 的使用技巧。 ... [详细]
  • 一面问题:MySQLRedisKafka线程算法mysql知道哪些存储引擎,它们的区别mysql索引在什么情况下会失效mysql在项目中的优化场景&# ... [详细]
  • 本文详细介绍了在Ubuntu 7.10操作系统上安装多种常用软件的方法,包括RAR压缩工具、即时通讯软件Pidgin、办公软件永中Office 2007试用版、多线程下载软件MultiGet及d4x、FTP客户端gFTP与FireFTP插件,以及P2P下载工具aMule。每部分都提供了具体的安装步骤和配置方法。 ... [详细]
  • 本文精选了六个功能强大且用户友好的在线资源网站,涵盖多种类型的资料和工具,帮助用户在日常工作中更加高效地获取信息。 ... [详细]
  • 部署新的ASP.NET Web应用程序构建(主要涉及DLL文件更改)后,服务器上的CPU使用率每几秒就会飙升至100%,问题似乎源自lsass.exe进程。这一现象与应用程序部署之间是否存在直接关联? ... [详细]
  • Eureka 注册中心实现密码认证
    自 Spring Cloud 1.1 版本起,Eureka 注册中心支持通过配置文件(如 bootstrap.yml)启用密码验证功能,以增强服务发现的安全性。 ... [详细]
author-avatar
孤鹰与战狼
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有