nixos/hosts/physiques/cephiroth/ceph.md

Ceph

Ce fichier explique les tests et etapes effectue avec ceph.

• Déployer une conf minimal avec ceph et services.ceph.global deploye.
• Creer une clé pour le cluster

sudo ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

• Creer un client admin

sudo ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

• Creer un bootstrap osd

sudo ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

• On ajoute les cle generer au keyring

sudo ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
sudo ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

(ca copie juste les deux clé précédente dans /tmp/ceph.mon.keyring)

• on donne le keyring a l'user ceph

sudo chown ceph:ceph /tmp/ceph.mon.keyring

• Créer une monitor map

monmaptool --create --add {hostname} {ip-address} --fsid {uuid} /tmp/monmap

• Créer un dossier pour le monitor

sudo mkdir /var/lib/ceph/mon/{cluster-name}-{hostname}

• On ajoute la monitor map et le keyring au monitor

sudo -u ceph ceph-mon [--cluster {cluster-name}] --mkfs -i {hostname} --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

On check si le service monitor start bien

Pour voir le status du cluster

sudo ceph -s

Dashboard

• check si le module dashboard est activé

sudo ceph mgr module ls

• pour activer si pas activer

ceph mgr module enable dashboard

Dans un premier temps pour le test j'ai desactiver le ssl :

ceph config set mgr mgr/dashboard/ssl false

Pour voir sur quoi le dashboard ecoute (apres avoir desactive ssl)

sudo ceph mgr services

Pour les user check https://docs.ceph.com/en/latest/mgr/dashboard/#username-and-password

OSD

Pour créer un osd (attention de prendre le bon disque parce que ca supprime les données du disque) :

sudo ceph-volume lvm create --data /dev/sdf --no-systemd

Info

• Monitor : c'est lui qui garde la map d'ou est quoi
• Manager : il check si tout va bien, c'est lui qui a le dashboard
• OSD : ca gere 1 disque physique

Proposition Architecture

CephFS

Il semble qu'il est préférable d'avoir 1 cephfs avec des sous répertoire. La raison principale est qu'il faut 1 mds/cephfs, et ca semble relativement gourmand en ressources.

• cephfs
  • home-nounou
  • home-adh
  • mail
  • mirror

Note: on pourrait penser bouger le mirror vers du S3 ?

RBD (raw block devices):

• vm-adh
• vm-nounou

Question en suspend

• backup ?
• postgresql
• monitoring
  • il y a du prometheus et des dashboard grafana ca devrait le faire
• user :
  • 1 user/"volume" ou 1user/host, autres ?
• migration nfs -> cephfs ?

Plan Migration