热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

分布式文件系统gluster的搭建,以及和docker的结合使用

目标简述:机器A上面装有docker,docker里有跑了python爬虫程序去抓数据,机器A上有个目录mydata挂载到docker抓取的目录上。有机

     目标简述: 机器A 上面装有docker,docker里有跑了python爬虫程序去抓数据,机器A上有个目录mydata挂载到docker 抓取的目录上。有机器B,C 通过gluster 挂载到 机器A的mydata目录里。这样当docker里的数据下载完以后,会把数据分布式存储在机器B 和C 上。

     三台机器:

     192.168.0.107(机器B角色)

      192.168.0.109(机器c角色)

      192.168.0.111 (机器A角色)

 

      其中192.168.0.107 ,192.168.0.109创建replica volume复制卷(lxsvolume)(目录为/gluster/data)

192.168.0.111 为lxsvolume创建 /lxs/mydata的挂载点,然后把/lxs/mydata挂载到docker的mydata目录里。验证在docker的mydata目录里创建文件,则在192.168.0.107 ,192.168.0.109里能看到对应的文件

 

     

192.168.0.107 安装gluster

 yum install centos-release-gluster

 

yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

 

同样在192.168.0.109上安装上述命令

 

未开启服务时 
查看集群状态: gluster peer status  机器未开启

 

 

两台机器启动服务

启动服务 systemctl start glusterd.service 

重启时自动服务    systemctl enable glusterd.service

 

 

再次查看集群状态

 

关闭服务命令 systemctl stop glusterd.service 

 

把2台机器的IP 加入到集群中

操作在一台服务器上操作即可,状态将同步到其他服务器

gluster peer probe 192.168.0.107

gluster peer probe 192.168.0.109

 

 

此时在107上 把109那台机器加入进集群失败

能ping通 估计没关闭109防火墙

 

在109上关闭防火墙

systemctl stop firewalld.service 
systemctl disable firewalld.service

 

再次把109加入集群 成功

 

同时关闭下107防火墙

再次查看集群状态: gluster peer status 

 

 

创建数据存储目录(在二个节点上都运行):

107 109 上 mkdir -p /gluster/data

 

 

查看volume 状态: gluster volume info

 

 

 

由于还没有创建volume所以显示的是暂无信息

创建volume (有7种volume)

在107上 创建replica volume (复制卷)

gluster volume create lxsvolume replica 2 192.168.0.107:/gluster/data   

192.168.0.109:/gluster/data

 

 

 

 

再加上 gluster volume create lxsvolume replica 2 192.168.0.107:/gluster/data    192.168.0.109:/gluster/data  force

 

 

再次查看volume信息  gluster volume info (107 和109)

 

 

 

启动 lxsvolume卷   gluster volume start lxsvolume

 

 

 

在111 上安装客户端

yum install -y glusterfs glusterfs-fuse

 

 

建立挂载点:mkdir -p /lxs/mydata

 

mount命令:mount -t glusterfs 192.168.0.107:lxsvolume /lxs/mydata/

 

 在107  109  /gluster/data 目录 无东西

 

此时在 111 的 /lxs/mydata/ 的目录下 随便创建个文件

 

此时 107  109下都有

 

查看挂载信息

 

说明此时gluster 复制已经搭建完成

 

   下一步:验证通过docker 挂载数据到机器A 上 从而分布式存储到机器b c 上

 

 

把111的 /lxs/mydata 目录挂载到 docker 的 /mydata 目录里

 

docker run -it -v  /lxs/mydata:/mydata --privileged=true  ff426288ea90

 

 

然后在docker的 mydata目录里创建 文件qq 和目录lxs

在 107  109的挂载点里都能看到

 

 

 

 搭建成功:

  通过Docker 里的/mydata ----à 111 的/lxs/mydata   然后 挂载lxsvolume卷(107和109创建的复制卷)

转:https://www.cnblogs.com/yuanjava/p/9570576.html



推荐阅读
  • 深入解析Serverless架构模式
    本文将详细介绍Serverless架构模式的核心概念、工作原理及其优势。通过对比传统架构,探讨Serverless如何简化应用开发与运维流程,并介绍当前主流的Serverless平台。 ... [详细]
  • 该平台旨在为大型企业提供一个高效、灵活且可扩展的分布式微服务架构解决方案。它采用模块化、微服务化和热部署的设计理念,结合当前最先进且无商业限制的主流开源技术,如Spring Cloud、Spring Boot2、MyBatis、OAuth2和Element UI,实现前后端分离的系统管理平台。 ... [详细]
  • 本文探讨了如何在日常工作中通过优化效率和深入研究核心技术,将技术和知识转化为实际收益。文章结合个人经验,分享了提高工作效率、掌握高价值技能以及选择合适工作环境的方法,帮助读者更好地实现技术变现。 ... [详细]
  • 本文详细介绍了网络存储技术的基本概念、分类及应用场景。通过分析直连式存储(DAS)、网络附加存储(NAS)和存储区域网络(SAN)的特点,帮助读者理解不同存储方式的优势与局限性。 ... [详细]
  • docker镜像重启_docker怎么启动镜像dock ... [详细]
  • 远程过程调用(RPC)是一种允许客户端通过网络请求服务器执行特定功能的技术。它简化了分布式系统的交互,使开发者可以像调用本地函数一样调用远程服务,并获得返回结果。本文将深入探讨RPC的工作原理、发展历程及其在现代技术中的应用。 ... [详细]
  • 本文介绍了如何使用 Spring Boot DevTools 实现应用程序在开发过程中自动重启。这一特性显著提高了开发效率,特别是在集成开发环境(IDE)中工作时,能够提供快速的反馈循环。默认情况下,DevTools 会监控类路径上的文件变化,并根据需要触发应用重启。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • CentOS7源码编译安装MySQL5.6
    2019独角兽企业重金招聘Python工程师标准一、先在cmake官网下个最新的cmake源码包cmake官网:https:www.cmake.org如此时最新 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 探讨如何真正掌握Java EE,包括所需技能、工具和实践经验。资深软件教学总监李刚分享了对毕业生简历中常见问题的看法,并提供了详尽的标准。 ... [详细]
  • 本文介绍了一种在 MySQL 客户端执行 NOW() 函数时出现时间偏差的问题,并详细描述了如何通过配置文件调整时区设置来解决该问题。演示场景中,假设当前北京时间为2023年2月17日19:31:37,而查询结果显示的时间比实际时间晚8小时。 ... [详细]
  • 本文详细介绍了 org.apache.commons.io.IOCase 类中的 checkCompareTo() 方法,通过多个代码示例展示其在不同场景下的使用方法。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
author-avatar
手机用户2502937805
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有