Déployer un cluster Ceph hyper-convergé

Avec Proxmox VE, vous bénéficiez d'un assistant d'installation facile à utiliser pour Ceph. Cliquez sur l'un de vos nœuds de cluster et accédez à la section Ceph dans l'arborescence du menu. Si Ceph n'est pas déjà installé, une invite vous propose de le faire.

L'assistant est divisé en plusieurs sections, où chacune doit se terminer avec succès, afin d'utiliser Ceph.

Vous devez d'abord choisir la version de Ceph que vous souhaitez installer. Préférez celui de vos autres nœuds, ou le plus récent s'il s'agit du premier nœud que vous installez Ceph.

Après avoir démarré l'installation, l'assistant téléchargera et installera tous les packages requis à partir du référentiel Ceph de Proxmox VE.

Après avoir terminé l'étape d'installation, vous devrez créer une configuration. Cette étape n'est nécessaire qu'une seule fois par cluster, car cette configuration est distribuée automatiquement à tous les membres restants du cluster via le système de fichiers de configuration en cluster de Proxmox VE (pmxcfs) .

L'étape de configuration comprend les paramètres suivants :

Vous avez deux autres options qui sont considérées comme avancées et ne devraient donc être modifiées que si vous savez ce que vous faites.

De plus, vous devez choisir votre premier nœud de moniteur. Cette étape est obligatoire.

C'est ça. Vous devriez maintenant voir une page de réussite comme dernière étape, avec des instructions supplémentaires sur la façon de procéder. Votre système est maintenant prêt à commencer à utiliser Ceph. Pour commencer, vous devrez créer des moniteurs supplémentaires , des OSD et au moins un pool .

Le reste de ce chapitre vous guidera pour tirer le meilleur parti de votre configuration Ceph basée sur Proxmox VE. Cela inclut les conseils susmentionnés et plus encore, tels que CephFS , qui est un ajout utile à votre nouveau cluster Ceph.

Alternativement à l'assistant d'installation recommandé de Proxmox VE Ceph disponible dans l'interface Web, vous pouvez utiliser la commande CLI suivante sur chaque nœud :

Cela configure un référentiel de packages apt dans /etc/apt/sources.list.d/ceph.list et installe le logiciel requis.

Utilisez l'assistant d'installation Proxmox VE Ceph (recommandé) ou exécutez la commande suivante sur un nœud :

Cela crée une configuration initiale dans /etc/pve/ceph.conf avec un réseau dédié pour Ceph. Ce fichier est automatiquement distribué à tous les nœuds Proxmox VE, à l'aide de pmxcfs . La commande crée également un lien symbolique dans /etc/ceph/ceph.conf , qui pointe vers ce fichier. Ainsi, vous pouvez simplement exécuter des commandes Ceph sans avoir besoin de spécifier un fichier de configuration.

Sur chaque nœud où vous souhaitez placer un moniteur (trois moniteurs sont recommandés), créez-en un en utilisant l' onglet Ceph → Monitor dans l'interface graphique ou exécutez :

Pour supprimer un moniteur Ceph via l'interface graphique, sélectionnez d'abord un nœud dans l'arborescence et accédez au panneau Ceph → Monitor . Sélectionnez le MON et cliquez sur le bouton Détruire .

Pour supprimer un moniteur Ceph via la CLI, connectez-vous d'abord au nœud sur lequel le MON est en cours d'exécution. Exécutez ensuite la commande suivante :

Plusieurs Managers peuvent être installés, mais un seul Manager est actif à la fois.

Pour supprimer un Ceph Manager via l'interface graphique, sélectionnez d'abord un nœud dans l'arborescence et accédez au panneau Ceph → Monitor . Sélectionnez le gestionnaire et cliquez sur le bouton Détruire .

Pour supprimer un moniteur Ceph via la CLI, connectez-vous d'abord au nœud sur lequel le gestionnaire s'exécute. Exécutez ensuite la commande suivante :

Vous pouvez créer un OSD via l'interface Web Proxmox VE ou via la CLI à l'aide de pveceph . Par example:

Si le disque était utilisé auparavant (par exemple, pour ZFS ou en tant qu'OSD), vous devez d'abord supprimer toutes les traces de cette utilisation. Pour supprimer la table de partition, le secteur de démarrage et tout autre OSD restant, vous pouvez utiliser la commande suivante :

À partir de la version Ceph Kraken, un nouveau type de stockage Ceph OSD a été introduit appelé Bluestore [ 7 ] . C'est la valeur par défaut lors de la création d'OSD depuis Ceph Luminous.

Si vous souhaitez utiliser un périphérique DB/WAL distinct pour vos OSD, vous pouvez le spécifier via les options -db_dev et -wal_dev . Le WAL est placé avec le DB, s'il n'est pas spécifié séparément.

Vous pouvez directement choisir la taille de ceux avec les paramètres -db_size et -wal_size respectivement. Si elles ne sont pas données, les valeurs suivantes (dans l'ordre) seront utilisées :

Avant Ceph Luminous, Filestore était utilisé comme type de stockage par défaut pour les OSD Ceph. À partir de Ceph Nautilus, Proxmox VE ne prend plus en charge la création de tels OSD avec pveceph . Si vous souhaitez toujours créer des OSD de magasin de fichiers , utilisez directement ceph-volume .

Pour supprimer un OSD via l'interface graphique, sélectionnez d'abord un nœud Proxmox VE dans l'arborescence et accédez au panneau Ceph → OSD . Sélectionnez ensuite l'OSD à détruire et cliquez sur le bouton OUT . Une fois que l'état de l'OSD est passé de in à out , cliquez sur le bouton STOP . Enfin, une fois que le statut est passé de haut en bas , sélectionnez Détruire dans le menu déroulant Plus .

Pour supprimer un OSD via la CLI, exécutez les commandes suivantes.

La commande suivante détruit l'OSD. Spécifiez l' option -cleanup pour détruire en plus la table de partition.

Vous pouvez créer et modifier des pools à partir de la ligne de commande ou de l'interface Web de n'importe quel hôte Proxmox VE sous Ceph → Pools .

Lorsqu'aucune option n'est donnée, nous définissons une valeur par défaut de 128 PG , une taille de 3 répliques et une taille min_size de 2 répliques , pour garantir qu'aucune perte de données ne se produit en cas d'échec d'un OSD.

Il est conseillé d'activer le PG-Autoscaler ou de calculer le numéro de PG en fonction de votre configuration. Vous pouvez trouver la formule et le calculateur de PG [ 8 ] en ligne. A partir de Ceph Nautilus, vous pouvez modifier le nombre de PG [ 9 ] après la configuration.

L'autoscaler PG [ 10 ] peut automatiquement mettre à l'échelle le nombre de PG pour un pool en arrière-plan. La définition des paramètres avancés Target Size ou Target Ratio aide le PG-Autoscaler à prendre de meilleures décisions.

Pour détruire un pool via l'interface graphique, sélectionnez un nœud dans l'arborescence et accédez au panneau Ceph → Pools . Sélectionnez la piscine à détruire et cliquez sur le bouton Détruire . Pour confirmer la destruction du pool, vous devez entrer le nom du pool.

Exécutez la commande suivante pour détruire un pool. Spécifiez -remove_storages pour supprimer également le stockage associé.

L'autoscaler PG permet au cluster de prendre en compte la quantité de données (attendues) stockées dans chaque pool et de choisir automatiquement les valeurs pg_num appropriées. Il est disponible depuis Ceph Nautilus.

Vous devrez peut-être activer le module d'autoscaler PG avant que les réglages ne prennent effet.

L'autoscaler est configuré par pool et dispose des modes suivants :

Le facteur d'échelle peut être ajusté pour faciliter le stockage futur des données avec les options target_size , target_size_ratio et pg_num_min .

Vous pouvez trouver une introduction plus détaillée à l'autoscaler PG sur le blog de Ceph - Nouveau dans Nautilus : fusion et réglage automatique de PG .

CephFS a besoin d'au moins un serveur de métadonnées pour être configuré et exécuté pour fonctionner. Vous pouvez créer un MDS via le panneau Node -> CephFS de l' interface graphique Web Proxmox VE ou à partir de la ligne de commande avec :

Plusieurs serveurs de métadonnées peuvent être créés dans un cluster, mais avec les paramètres par défaut, un seul peut être actif à la fois. Si un MDS ou son nœud ne répond plus (ou tombe en panne), un autre MDS de secours sera promu au statut actif . Vous pouvez accélérer le transfert entre le MDS actif et le MDS en veille en utilisant l' option de paramètre hotstandby lors de la création, ou si vous l'avez déjà créé, vous pouvez définir/ajouter :

dans la section MDS respective de /etc/pve/ceph.conf . Avec cette option activée, le MDS spécifié restera dans un état chaud , interrogeant le MDS actif, afin qu'il puisse prendre le relais plus rapidement en cas de problème.

Depuis Luminous (12.2.x), vous pouvez avoir plusieurs serveurs de métadonnées actifs en même temps, mais cela n'est normalement utile que si vous avez un grand nombre de clients en parallèle. Sinon, le MDS est rarement le goulot d'étranglement d'un système. Si vous souhaitez configurer cela, veuillez vous référer à la documentation Ceph. [ 14 ]

Avec l'intégration de CephFS par Proxmox VE, vous pouvez facilement créer un CephFS à l'aide de l'interface Web, de la CLI ou d'une interface API externe. Quelques prérequis sont nécessaires pour que cela fonctionne :

Une fois cette opération terminée, vous pouvez simplement créer un CephFS via le panneau Node -> CephFS de l' interface graphique Web ou l'outil de ligne de commande pveceph , par exemple :

Cela crée un CephFS nommé cephfs , en utilisant un pool pour ses données nommé cephfs_data avec 128 groupes de placement et un pool pour ses métadonnées nommé cephfs_metadata avec un quart des groupes de placement du pool de données ( 32 ). Consultez le chapitre sur le pool Ceph géré par Proxmox VE ou consultez la documentation Ceph pour plus d'informations sur un numéro de groupe de placement approprié ( pg_num ) pour votre configuration [ 9 ] . De plus, le paramètre --add-storage ajoutera le CephFS à la configuration de stockage Proxmox VE après sa création réussie.

Pour supprimer complètement et correctement un CephFS, les étapes suivantes sont nécessaires :

Après ces étapes, le CephFS doit être complètement supprimé et si vous avez d'autres instances CephFS, les serveurs de métadonnées arrêtés peuvent être redémarrés pour agir en tant que serveurs de secours.

L'une des tâches de maintenance les plus courantes dans Ceph consiste à remplacer le disque d'un OSD. Si un disque est déjà en état d'échec, vous pouvez continuer et suivre les étapes de Détruire les OSD . Ceph recréera ces copies sur les OSD restants si possible. Ce rééquilibrage commencera dès qu'une panne d'OSD est détectée ou qu'un OSD a été activement arrêté.

Pour remplacer un disque fonctionnel à partir de l'interface graphique, suivez les étapes décrites dans Détruire les OSD . Le seul ajout est d'attendre que le cluster affiche HEALTH_OK avant d'arrêter l'OSD pour le détruire.

Sur la ligne de commande, utilisez les commandes suivantes :

Vous pouvez vérifier avec la commande ci-dessous si l'OSD peut être supprimé en toute sécurité.

Une fois que la vérification ci-dessus vous indique que vous pouvez supprimer l'OSD en toute sécurité, vous pouvez continuer avec les commandes suivantes :

Remplacez l'ancien disque par le nouveau et utilisez la même procédure que celle décrite dans Créer des OSD .

Il est recommandé d'exécuter fsrim (supprimer) régulièrement sur les machines virtuelles et les conteneurs. Cela libère les blocs de données que le système de fichiers n'utilise plus. Il réduit l'utilisation des données et la charge des ressources. La plupart des systèmes d'exploitation modernes émettent régulièrement de telles commandes de suppression sur leurs disques. Vous devez seulement vous assurer que les machines virtuelles activent l' option de suppression de disque .

Ceph garantit l'intégrité des données en nettoyant les groupes de placement. Ceph vérifie chaque objet dans un PG pour sa santé. Il existe deux formes de Scrubbing, des vérifications quotidiennes des métadonnées bon marché et des vérifications approfondies hebdomadaires des données. Le nettoyage en profondeur hebdomadaire lit les objets et utilise des sommes de contrôle pour garantir l'intégrité des données. Si un scrub en cours d'exécution interfère avec les besoins de l'entreprise (performances), vous pouvez ajuster l'heure à laquelle les scrubs [ 15 ] sont exécutés.