Ceph-15(Octopus)集群安裝架設

安裝架設  (Centos8-stream + Centos7.9)

    Ceph 是一種開源的分散式儲存系統，它的設計和架構使其能夠提供高效能、高可用性和可擴充性的分散式儲存解決方案。 Ceph 以物件儲存為基礎，支援多種不同的資料儲存模型，包括區塊儲存、檔案儲存和物件儲存。

環境準備4台

1.更新套件 (每一台節點操作)

yum update -y   

2.關閉預設防火牆..功能 (每一台節點操作)

systemctl stop firewalld

systemctl disable firewalld

sed -i 's/enforcing/disabled/' /etc/selinux/config

setenforce 0

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

3.每一台節點設定名稱 (每一台節點操作)

hostnamectl set-hostname ceph01

hostnamectl set-hostname ceph02

hostnamectl set-hostname ceph03

hostnamectl set-hostname ceph04

4.設定本地DNS (ceph01節點操作)

vi /etc/hosts

206.119.111.232 ceph01

206.119.111.233 ceph02

206.119.111.234 ceph03

206.119.111.235 ceph04

5.建立ssh憑證 (ceph01節點操作)

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub ceph01

ssh-copy-id -i ~/.ssh/id_rsa.pub ceph02

ssh-copy-id -i ~/.ssh/id_rsa.pub ceph03

ssh-copy-id -i ~/.ssh/id_rsa.pub ceph04

ssh ceph02 #測試連線

scp /etc/hosts ceph01:/etc/hosts  #同步文件給每一台

6.校正時間(Centos8-Stream操作) (每一台節點操作)

vi /etc/chrony.conf

• server 171.22.195.110

systemctl enable chronyd

systemctl start chronyd

6.校正時間(Centos7.9操作) (每一台節點操作)

yum install ntp -y

ntpdate -u 171.22.195.110

mkdir /var/mylog

crontab -e

*/5 * * * * /usr/sbin/ntpdate -u 171.22.195.110 >> /var/mylog/ntp.log 2>&1

crontab -l

7.安裝基本套件 (每一台節點操作)

yum -y install wget net-tools gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip libaio-devel wget vim ncurses-devel autoconf automake zlib-devel openssh-server python3 -y 

8.安裝Docker (每一台節點操作)

yum install yum-utils device-mapper-persistent-data lvm2 -y  #安裝所需的套件

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo  #官網載點(yum源)

yum list docker-ce --showduplicates | sort -r  #列出可用的版本

#yum install docker-ce-<VERSION_STRING>  #指定安裝版本

yum install docker-ce-20.10.22 docker-ce-cli-20.10.22 containerd.io -y  #指定安裝版本範

systemctl start docker #啟用

systemctl enable docker #開機自動啟用

docker run hello-world #測試用指令，看有沒有正常

9.安裝cephadm腳本 (每一台節點操作)

curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm

chmod +x cephadm

./cephadm add-repo --release octopus

./cephadm install

10.安裝ceph ， 上面cephadm已經配置好源 (每一台節點操作)

yum install ceph -y

11.建立新的集群 (ceph01節點操作)

mkdir -p /etc/ceph

cephadm bootstrap --mon-ip 206.119.111.232  #主節點要加操作

#cephadm shell

12.設定ssh key給每一台ceph (ceph01節點操作)

ssh-copy-id -f -i /etc/ceph/ceph.pub ceph01

ssh-copy-id -f -i /etc/ceph/ceph.pub ceph02

ssh-copy-id -f -i /etc/ceph/ceph.pub ceph03

ssh-copy-id -f -i /etc/ceph/ceph.pub ceph04

13.加入節點 (ceph01節點操作)

ceph orch host add ceph01 206.119.111.232

ceph orch host add ceph02 206.119.111.233

ceph orch host add ceph03 206.119.111.234

ceph orch host add ceph04 206.119.111.235

14.設置標籤 _admin, 設置完標籤會自動複製 ceph.conf , ceph.client.admin.keyring  (ceph01節點操作)

ceph orch host label add ceph01 _admin 

ceph orch host label add ceph02 _admin 

ceph orch host label add ceph03 _admin

ceph orch host label add ceph04 _admin 

#如我沒設置標籤，需要手動拷貝配置文件

#scp /etc/ceph/ceph.conf root@ceph02:/etc/ceph/

#scp /etc/ceph/ceph.client.admin.keyring root@ceph02:/etc/ceph/

15.添加OSD節點，(使用磁區方法建立OSD)  (ceph01節點操作)

#常用pvdisplay,vgdisplay,lvdisplay查看獲取訊息

#建立過程不完整情況添加進去osd報錯，需要刪除重新建立VG,LV

pvcreate /dev/sda5   #創建PV

vgcreate ceph01 /dev/sda5    #創建vg，前面是名稱，後面是磁區

lvcreate -l 92052 -n osd01 ceph01  #創建LV,「92052」 是vg的PE個數(vgdisplay可查看),osd01=lv名稱,建立在ceph01

ceph orch daemon add osd ceph02:/dev/ceph01/osd01    #創建添加OSD

16.環境設定 (ceph01節點操作)

ceph orch apply mds cephfs --placement="3 ceph01 ceph02 ceph03"  #添加mds設定文件系統與mds存在節點與數量

ceph orch apply mon ceph01,ceph02,ceph03  #設定mon節點存在節點與數量

ceph orch apply mgr ceph01,ceph02  #設定mgr節點存在節點與數量

#ceph orch rm grafana  #刪除grafana服務，(Dashboard可以連接grafana API圖表)

ceph orch apply prometheus ceph01  #設定prometheus節點