热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

分布式文件系统gluster的搭建,以及和docker的结合使用

目标简述:机器A上面装有docker,docker里有跑了python爬虫程序去抓数据,机器A上有个目录mydata挂载到docker抓取的目录上。有机

     目标简述: 机器A 上面装有docker,docker里有跑了python爬虫程序去抓数据,机器A上有个目录mydata挂载到docker 抓取的目录上。有机器B,C 通过gluster 挂载到 机器A的mydata目录里。这样当docker里的数据下载完以后,会把数据分布式存储在机器B 和C 上。

     三台机器:

     192.168.0.107(机器B角色)

      192.168.0.109(机器c角色)

      192.168.0.111 (机器A角色)

 

      其中192.168.0.107 ,192.168.0.109创建replica volume复制卷(lxsvolume)(目录为/gluster/data)

192.168.0.111 为lxsvolume创建 /lxs/mydata的挂载点,然后把/lxs/mydata挂载到docker的mydata目录里。验证在docker的mydata目录里创建文件,则在192.168.0.107 ,192.168.0.109里能看到对应的文件

 

     

192.168.0.107 安装gluster

 yum install centos-release-gluster

 

yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

 

同样在192.168.0.109上安装上述命令

 

未开启服务时 
查看集群状态: gluster peer status  机器未开启

 

 

两台机器启动服务

启动服务 systemctl start glusterd.service 

重启时自动服务    systemctl enable glusterd.service

 

 

再次查看集群状态

 

关闭服务命令 systemctl stop glusterd.service 

 

把2台机器的IP 加入到集群中

操作在一台服务器上操作即可,状态将同步到其他服务器

gluster peer probe 192.168.0.107

gluster peer probe 192.168.0.109

 

 

此时在107上 把109那台机器加入进集群失败

能ping通 估计没关闭109防火墙

 

在109上关闭防火墙

systemctl stop firewalld.service 
systemctl disable firewalld.service

 

再次把109加入集群 成功

 

同时关闭下107防火墙

再次查看集群状态: gluster peer status 

 

 

创建数据存储目录(在二个节点上都运行):

107 109 上 mkdir -p /gluster/data

 

 

查看volume 状态: gluster volume info

 

 

 

由于还没有创建volume所以显示的是暂无信息

创建volume (有7种volume)

在107上 创建replica volume (复制卷)

gluster volume create lxsvolume replica 2 192.168.0.107:/gluster/data   

192.168.0.109:/gluster/data

 

 

 

 

再加上 gluster volume create lxsvolume replica 2 192.168.0.107:/gluster/data    192.168.0.109:/gluster/data  force

 

 

再次查看volume信息  gluster volume info (107 和109)

 

 

 

启动 lxsvolume卷   gluster volume start lxsvolume

 

 

 

在111 上安装客户端

yum install -y glusterfs glusterfs-fuse

 

 

建立挂载点:mkdir -p /lxs/mydata

 

mount命令:mount -t glusterfs 192.168.0.107:lxsvolume /lxs/mydata/

 

 在107  109  /gluster/data 目录 无东西

 

此时在 111 的 /lxs/mydata/ 的目录下 随便创建个文件

 

此时 107  109下都有

 

查看挂载信息

 

说明此时gluster 复制已经搭建完成

 

   下一步:验证通过docker 挂载数据到机器A 上 从而分布式存储到机器b c 上

 

 

把111的 /lxs/mydata 目录挂载到 docker 的 /mydata 目录里

 

docker run -it -v  /lxs/mydata:/mydata --privileged=true  ff426288ea90

 

 

然后在docker的 mydata目录里创建 文件qq 和目录lxs

在 107  109的挂载点里都能看到

 

 

 

 搭建成功:

  通过Docker 里的/mydata ----à 111 的/lxs/mydata   然后 挂载lxsvolume卷(107和109创建的复制卷)

转:https://www.cnblogs.com/yuanjava/p/9570576.html



推荐阅读
  • 深入解析Serverless架构模式
    本文将详细介绍Serverless架构模式的核心概念、工作原理及其优势。通过对比传统架构,探讨Serverless如何简化应用开发与运维流程,并介绍当前主流的Serverless平台。 ... [详细]
  • docker镜像重启_docker怎么启动镜像dock ... [详细]
  • 本文详细探讨了HTML表单中GET和POST请求的区别,包括它们的工作原理、数据传输方式、安全性及适用场景。同时,通过实例展示了如何在Servlet中处理这两种请求。 ... [详细]
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 深入解析BookKeeper的设计与应用场景
    本文介绍了由Yahoo在2009年开发并于2011年开源的BookKeeper技术。BookKeeper是一种高效且可靠的日志流存储解决方案,广泛应用于需要高性能和强数据持久性的场景。 ... [详细]
  • 阿里云ecs怎么配置php环境,阿里云ecs配置选择 ... [详细]
  • C#设计模式学习笔记:观察者模式解析
    本文将探讨观察者模式的基本概念、应用场景及其在C#中的实现方法。通过借鉴《Head First Design Patterns》和维基百科等资源,详细介绍该模式的工作原理,并提供具体代码示例。 ... [详细]
  • ZooKeeper集群脑裂问题及其解决方案
    本文深入探讨了ZooKeeper集群中可能出现的脑裂问题,分析其成因,并提供了多种有效的解决方案,确保集群在高可用性环境下的稳定运行。 ... [详细]
  • Nginx 反向代理与负载均衡实验
    本实验旨在通过配置 Nginx 实现反向代理和负载均衡,确保从北京本地代理服务器访问上海的 Web 服务器时,能够依次显示红、黄、绿三种颜色页面以验证负载均衡效果。 ... [详细]
  • 本文深入探讨了SQL数据库中常见的面试问题,包括如何获取自增字段的当前值、防止SQL注入的方法、游标的作用与使用、索引的形式及其优缺点,以及事务和存储过程的概念。通过详细的解答和示例,帮助读者更好地理解和应对这些技术问题。 ... [详细]
  • NTP服务器配置详解:原理与工作模式
    本文深入探讨了网络时间协议(NTP)的工作原理及其多种工作模式,旨在帮助读者全面理解NTP的配置参数和应用场景。NTP是基于RFC 1305的时间同步标准,广泛应用于分布式系统中,确保设备间时钟的一致性。 ... [详细]
  • 深入解析Java虚拟机(JVM)架构与原理
    本文旨在为读者提供对Java虚拟机(JVM)的全面理解,涵盖其主要组成部分、工作原理及其在不同平台上的实现。通过详细探讨JVM的结构和内部机制,帮助开发者更好地掌握Java编程的核心技术。 ... [详细]
  • 本文深入探讨了MySQL中常见的面试问题,包括事务隔离级别、存储引擎选择、索引结构及优化等关键知识点。通过详细解析,帮助读者在面对BAT等大厂面试时更加从容。 ... [详细]
  • 远程过程调用(RPC)是一种允许客户端通过网络请求服务器执行特定功能的技术。它简化了分布式系统的交互,使开发者可以像调用本地函数一样调用远程服务,并获得返回结果。本文将深入探讨RPC的工作原理、发展历程及其在现代技术中的应用。 ... [详细]
  • NFS(Network File System)即网络文件系统,是一种分布式文件系统协议,主要用于Unix和类Unix系统之间的文件共享。本文详细介绍NFS的配置文件/etc/exports和相关服务配置,帮助读者理解如何在Linux环境中配置NFS客户端。 ... [详细]
author-avatar
手机用户2502937805
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有