centos7快速部署ceph

1、机器：

10.39.3.22-26 

2.优化

  tcp参数优化 

  ntp时间同步配置

  requiretty准备

执行命令visudo修改suoders文件：

1. 注释Defaults requiretty

Defaults requiretty修改为 #Defaults requiretty， 表示不需要控制终端。

否则会出现sudo: sorry, you must have a tty to run sudo

2. 增加行 Defaults visiblepw

否则会出现 sudo: no tty present and no askpass program specified

3、ceph用户添加

adduser  ceph -u 2000  

#必须要添加密码，否则无法配置ssh互信

(echo "123321";sleep 1;echo "123321")|passwd ceph --stdin

增加sudo权限

echo  "ceph ALL = (root) NOPASSWD:ALL"| sudo tee /etc/sudoers.d/ceph

chmod 0440 /etc/sudoers.d/ceph  

4、修改主机名：

将主机名添加到/etc/hosts文件中

hostnamectl  set-hostname cephnode0

hostnamectl  set-hostname cephnode1

hostnamectl  set-hostname cephnode2

5、 生成密钥文件，默认回车即可

ssh-keygen -t rsa

cat .ssh/id_rsa.pub .ssh/authorized_keys

如果希望ssh公钥生效需满足至少下面两个条件：

　　　　　1) .ssh目录的权限必须是700 

　　　　　2) .ssh/authorized_keys文件权限必须是600

7、为admin-node节点安装ceph-deploy

第一步：增加 yum配置文件

yum clean all

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo

sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo

sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo

添加163源：

vim /etc/yum.repos.d/ceph.repo

[ceph]

name=ceph

baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/

gpgcheck=0

[ceph-noarch]

name=cephnoarch

baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/

gpgcheck=0

进行yum的makecache

yum makecache

第二步：更新软件源并安装ceph-deploy

sudo yum update && sudo yum install ceph-deploy

开始节点安装：

第一步：创建集群设置Monitor节点

在admin节点上用ceph-deploy创建集群，new后面跟的是monitor节点的hostname，如果有多个monitor，则它们的hostname以为间隔，多个mon节点可以实现互备。

ceph-deploy  new cephnode0 cephnode1 cephnode2

第二步：利用ceph-deploy为节点安装ceph

ceph-deploy install  cephnode0  cephnode1 cephnode2

  如install未成功，亦可手动安装：

在每个节点单独运行安装ceph软件：yum install ceph -y  

osd节点： yum install ceph-radosgw -y

 初始化monitor节点

初始化监控节点并收集keyring：

ceph-deploy mon create-initial 

 (可添加--overwrite-conf参数)

ceph-deploy admin cephnode0 cephnode0 cephnode1 cephnode2

sudo chmod 755 /etc/ceph/ceph.client.admin.keyring

 第三步: osd部署

ceph-deploy osd prepare cephnode0:/data11/ceph-osd  cephnode2:/data11/ceph-osd   cephnode3:/data11/ceph-osd   cephnode4:/data11/ceph-osd   cephnode5:/data11/ceph-osd 

ceph-deploy osd activate cephnode0:/data11/ceph-osd  cephnode2:/data11/ceph-osd   cephnode3:/data11/ceph-osd   cephnode4:/data11/ceph-osd   cephnode5:/data11/ceph-osd 

(此处直接挂载的目录，由于分区默认使用的ext4格式，osd日志中会有报错,在ceph.conf文件中添加指定参数解决)

添加一个元数据服务器

ceph-deploy mds create cephnode2 cephnode3

创建ceph pg：

ceph osd pool create cephfs_data 1000

ceph osd pool create cephfs_metadata 1000

 ceph -s

 ceph fs new cephfs cephfs_metadata cephfs_data

创建完成后，就可以使用ceph-fuse挂载了。

 #ceph rbd 客户端部署：

 客户端需要安装组件、 /etc/ceph/配置文件才能访问rbd？

 yum install rbd-mirror.x86_64

报错处理：

#############################################

[ceph@cephnode0 cluster]$ ceph -w

2017-03-24 18:58:29.832395 7fb5d6222700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory

2017-03-24 18:58:29.832414 7fb5d6222700 -1 monclient(hunting): ERROR: missing keyring, cannot use cephx for authentication

2017-03-24 18:58:29.832417 7fb5d6222700  0 librados: client.admin initialization error (2) No such file or directory

Error connecting to cluster: ObjectNotFound

[ceph@cephnode0 cluster]$

权限问题，修改为sudo chmod 755 /etc/ceph/ceph.client.admin.keyring

安装不过去的时候：

  yum -y install epel-release

# ** ERROR: osd init failed: (36) File name too long

修改？/etc/ceph/ceph.conf文件，在文件中添加如下配置

osd max object name len = 256  

osd max object namespace len = 64  

#安装ceph时出错[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: 'ceph'，是为什么呢

yum remove ceph-release  先执行这个，把这个东西卸了，应该是这个的版本不兼容 亲测有效

################3

clock skew detected on mon.cephnode3 

 在admin结点上，修改ceph.conf，添加：

mon_clock_drift_allowed = 5

mon_clock_drift_warn_backoff = 30

ceph-deploy --overwrite-conf admin ceph1 ceph2 ceph3

 重启monitor

systemctl restart ceph-mon@ceph1.service

osd进程过多，需要修改ceph用户的最大文件打开数：

 /etc/security/limits.d/20-nproc.conf  

当您运行每台主机上运行多个OSD进程时（如>20）会产生很多的线程，特别是进行recovery和relalancing操作。

许多Linux内核默认线程限最大数量比较小（例如，32k的）。

如果您遇到这方面的问题，可以考虑把kernel.pid_max设置的高一点。理论上的最大值为4,194,303

本文出自 “Devops” 博客，请务必保留此出处http://devops9527.blog.51cto.com/2419132/1918347