Guide d'installation rapide de SafeKit avec Docker (module miroir mirror.safe)

Guide d'installation rapide de SafeKit avec Docker sur Linux

Installation du package sous Linux

Installez la version gratuite de SafeKit sur 2 nœuds Linux.

Remarque : l'essai gratuit inclut toutes les fonctionnalités de SafeKit. À la fin de l'essai, vous pouvez activer des clés de licence permanentes sans désinstaller le package.
Après le téléchargement du package safekit_xx.bin, exécutez-le pour extraire le rpm et le script safekitinstall, puis exécutez le script safekitinstall
Répondez oui à la configuration automatique du pare-feu
Définissez le mot de passe pour la console Web et l'utilisateur par défaut admin.
1. Utilisez des caractères alphanumériques pour le mot de passe (pas de caractères spéciaux).
2. Le mot de passe doit être le même sur les deux nœuds.

Exemple 1 avec une application Docker compose

Avec une application Docker compose, vous disposez d'un fichier docker-compose.yml décrivant l'application et tous ses containers.

Tout d'abord, sur les deux serveurs, installez l'application docker compose sans la démarrer: docker-compose -f docker-compose.yml up --no-start
Sur un serveur, pour chaque volume dans docker-compose.yml, exécutez cette commande: docker volume inspect volume_name

Elle retournera les répertoires hôtes des volumes docker (ces chemins ne sont pas donnés dans docker-compose.yml).

Ainsi, vous obtenez une liste sous la forme /var/lib/docker/volumes/<volume_name>/_data
Allez dans la section configuration étape par étape et :
- déployez le module mirror.safe
- définissez une adresse IP virtuelle qui sera commutée en cas de panne
- définissez la liste /var/lib/docker/volumes/<volume_name>/_data comme répertoires répliqués
- mettre respectivement dans les scripts start_prim et stop_prim: /usr/local/bin/docker-compose -f docker-compose.yml --no-ansi start et /usr/local/bin/docker-compose -f docker-compose.yml --no-ansi stop

Exemple 2 avec une application Docker démarrant un ensemble de containers

Nous supposons maintenant une application myappli démarrant un ensemble de containers.

Tout d'abord, sur les deux serveurs, installez myappli sans la démarrer.
Sur un serveur, listez les volumes utilisés par myapply: ls /var/lib/docker/volumesAinsi, vous obtenez une liste sous la forme /var/lib/docker/volumes/<volume_name>/_data
Allez dans la section configuration étape par étape et :
- déployez le module mirror.safe
- définissez une adresse IP virtuelle qui sera commutée en cas de panne
- définissez la liste /var/lib/docker/volumes/<volume_name>/_data comme répertoires répliqués
- mettre respectivement dans les scripts start_prim et stop_prim: /.../myappli start et /.../myappli stop

Exemple 3 avec une simple image docker

La configuration est présentée sur l'exemple de l'image docker nginx (serveur web).

Création d'un volume docker
Sur les deux serveurs, créez un volume docker avec le même nom: docker volume create replicated_vol
Récupérez le chemin du répertoire sur l'hôte où le volume est stocké: docker volume inspect replicated_vol
(par exemple:/var/lib/docker/storage/replicated_vol/_data)
Création d'un conteneur docker
Sur les deux serveurs, créez un conteneur docker nginx lié au volume précédent: docker container create --name mynginx -v replicated_vol:/usr/share/nginx/html -p 9011:80 nginx
Remplissez le volume avec un fichier index.html: docker cp index.html mynginx:/usr/share/nginx/html/index.html
Allez dans la section configuration étape par étape et :
- déployez le module mirror.safe
- définissez une adresse IP virtuelle qui sera commutée en cas de panne
- définissez /var/lib/docker/storage/replicated_vol/_data comme répertoire répliqué
- mettez respectivement dans les scripts start_prim et stop_prim: docker start mynginx et docker stop mynginx
- après la configuration de SafeKit, testez l'accès à index.html avec http://vitual-ip:9011

Configuration étape par étape

1. Lancez la console SafeKit

Lancez la console Web dans un navigateur sur un nœud du cluster en vous connectant à http://localhost:9010.
Entrez admin comme nom d'utilisateur et le mot de passe défini lors de l'installation.

Vous pouvez également exécuter la console dans un navigateur sur un poste de travail externe au cluster.

La configuration de SafeKit se fait sur les deux nœuds à partir d'un seul navigateur.

Pour sécuriser la console Web, consultez 11. Sécurisation du service web de SafeKit dans le Guide de l'utilisateur.

2. Configurer les adresses des nœuds

Entrez les adresses IP des nœuds et appuyez sur la touche Tabulation pour vérifier la connectivité et remplir le nom des nœuds.
Ensuite, cliquez sur Save and apply pour enregistrer la configuration.

Si le nœud 1 ou le nœud 2 a une couleur rouge, vérifiez la connectivité du navigateur aux deux nœuds et vérifiez le pare-feu sur les deux nœuds pour résoudre le problème.

Si vous le souhaitez, vous pouvez ajouter un nouveau LAN pour un deuxième heartbeat et pour un réseau de réplication dédié.

Cette opération placera les adresses IP dans le fichier cluster.xml sur les deux nœuds (plus d'informations dans le training avec les lignes de commande).

4. Configurer le module

Choisissez un démarrage Automatic du module au boot sans délai.
Normalement, vous disposez d'un seul réseau Heartbeat sur lequel la réplication est effectuée. Mais vous pouvez définir un réseau privé si nécessaire (en ajoutant un LAN à l'étape 2).
Saisissez une Virtual IP address. Une adresse IP virtuelle est une adresse IP standard dans le même réseau IP (même sous-réseau) que les adresses IP des deux nœuds.
Les clients de l'application doivent être configurés avec l'adresse IP virtuelle (ou le nom DNS associé à l'adresse IP virtuelle).
L'adresse IP virtuelle est automatiquement basculée en cas de panne.
Vérifiez que les Replicated directories sont installés sur les deux nœuds et contiennent les données de l'application.
La réplication des données et des journaux est essentielle pour une base de données.
Vous pouvez créer des répertoires répliqués supplémentaires selon vos besoins.
Notez que si un nom de processus est affiché dans Monitored processes/services, il sera surveillé avec une action de redémarrage en cas de panne. La configuration d'un mauvais nom de processus entraînera l'arrêt du module juste après son démarrage.

Si vous cliquez sur Advanced configuration, le fichier userconfig.xml s'affiche (exemple avec Microsoft SQL Server).

5. Modifier les scripts (facultatif)

start_prim et stop_prim doivent contenir le démarrage et l'arrêt de l'application Docker (exemple fourni pour Microsoft SQL Server à droite).
Vous pouvez ajouter de nouveaux services dans ces scripts.
Vérifiez que les noms des services démarrés dans ces scripts sont ceux installés sur les deux nœuds, sinon modifiez-les dans les scripts.
Sous Windows et sur les deux nœuds, avec le gestionnaire de services Windows, définissez Boot Startup Type = Manual pour tous les services démarrés dans start_prim (SafeKit contrôle le démarrage des services dans start_prim).

9. Démarrez le nœud avec des données à jour

Si le nœud 1 possède les répertoires répliqués à jour, sélectionnez-le et démarrez-le en tant que primaire As primary.

Lorsque le nœud 2 sera démarré, toutes les données seront copiées du nœud 1 vers le nœud 2.

Si vous faites le mauvais choix, vous courez le risque de synchroniser des données obsolètes sur les deux nœuds.

Il est également supposé que l'application Docker est arrêtée sur le nœud 1 afin que SafeKit installe les mécanismes de réplication puis démarre l'application dans le script start_prim.

Utilisez Start pour les démarrages suivants : SafeKit retient le serveur le plus à jour. Le démarrage As primary est un démarrage spécial la première fois ou lors d'opérations exceptionnelles.

10. Attendez le passage à ALONE (vert)

Le nœud 1 doit atteindre l'état ALONE (vert), ce qui signifie que l'adresse IP virtuelle est définie et que le script start_prim a été exécuté sur le nœud 1.

Si ALONE (vert) n’est pas atteint ou si l'application n'est pas démarrée, analysez pourquoi avec le journal du module du nœud 1.

cliquez sur l'icône « journal » de node1 pour ouvrir le journal du module et recherchez des messages d'erreur tels qu'un checker détectant une erreur et arrêtant le module.
cliquez sur start_prim dans le journal : les messages de sortie du script sont affichés à droite et des erreurs peuvent être détectées comme un service mal démarré.

Si le cluster est dans l'état WAIT (rouge) not uptodate, STOP (rouge) not upodate, arrêtez le nœud WAIT et forcer son démarrage en tant que primaire.

11. Démarrer le nœud 2

Démarrez le nœud 2 avec son menu contextuel.
Attendez l'état SECOND (vert).

Le nœud 2 reste dans l'état SECOND (orange) lors de la resynchronisation des répertoires répliqués (copie du nœud 1 vers le nœud 2).

Cela peut prendre un certain temps en fonction de la taille des fichiers à resynchroniser dans les répertoires répliqués et de la bande passante du réseau.

Pour voir la progression de la copie, consultez le log du module et les ressources de réplication du nœud 2.

12. Vérifiez que le cluster est opérationnel

Vérifiez que le cluster est vert/vert avec les services Docker exécutés sur le nœud PRIM et ne s'exécutant pas sur le nœud SECOND.

Seules les modifications à l'intérieur des fichiers sont répliquées en temps réel dans cet état.

Les composants qui sont clients des services Docker doivent être configurés avec l'adresse IP virtuelle. La configuration peut se faire avec un nom DNS (si un nom DNS a été créé et associé à l'adresse IP virtuelle).

13. Tests

Arrêtez le nœud PRIM en faisant défiler son menu contextuel et en cliquant sur Stop.
Vérifiez qu'il y a un basculement sur le nœud 2 qui doit devenir ALONE (vert).
Et avec Microsoft Management Console (MMC) sous Windows ou avec des lignes de commande sous Linux, vérifiez le basculement des services Docker (arrêtés sur le nœud 1 dans le script stop_prim et démarrés sur le nœud 2 dans le script start_prim).

Si ALONE (vert) n’est pas atteint sur le nœud 2 ou si l'application n'est pas démarrée, analysez pourquoi avec le journal du module du nœud 2.

cliquez sur l'icône « journal » de node2 pour ouvrir le journal du module et recherchez des messages d'erreur tels qu'un checker détectant une erreur et arrêtant le module.
cliquez sur start_prim dans le journal : les messages de sortie du script sont affichés à droite et des erreurs peuvent être détectées comme un service mal démarré.

Si tout va bien, lancez un démarrage du nœud 1, qui resynchronisera les répertoires répliqués depuis le nœud 2.

Si les choses vont mal, arrêtez le nœud 2 et forcez le démarrage en tant que primaire du nœud 1, qui redémarrera avec ses données localement saines au moment de l'arrêt.

Plus d'informations sur les tests dans le Guide de l'utilisateur.

15. Si nécessaire, configurez un checker splitbrain

Voir ci-dessous "Quels sont les différents scénarios en cas d'isolement réseau dans un cluster ?" pour savoir si vous devez configurer un checker splitbrain.
Allez dans la configuration du module et cliquez sur Checkers / Splitbrain (voir image) pour modifier les paramètres du splitbrain.
Enregistrez et appliquez la nouvelle configuration pour la redéployer sur les deux nœuds (le module doit être arrêté sur les deux nœuds pour enregistrer et appliquer).

Paramètres :

Resource name identifie le témoin avec un nom de ressource : splitbrain.witness. Vous pouvez modifier cette valeur pour identifier le témoin.
Witness address est l'argument du ping lorsqu'un nœud passe de PRIM à ALONE ou de SECOND à ALONE. Changez cette valeur avec l'IP du témoin (un élément robuste, typiquement un routeur).
Remarque : vous pouvez définir plusieurs adresses IP séparées par des espaces. Attention, les adresses IP doivent être accessibles depuis un nœud mais pas depuis l'autre en cas d'isolement du réseau.

Lorsqu'il y a un isolement réseau, le comportement par défaut est :

comme les heartbeats sont perdus pour chaque nœud, chaque nœud passe en ALONE et exécute l'application avec son adresse IP virtuelle (double exécution de l'application modifiant ses données locales),
lorsque l'isolement est réparé, un nœud ALONE est obligé de s'arrêter et de resynchroniser ses données depuis l'autre nœud,
à la fin, le cluster est PRIM-SECOND (ou SECOND-PRIM selon la détection d'adresse IP virtuelle en double faite par Windows).

Lorsqu'il y a un isolement du réseau, le comportement avec un split-brain checker est :

un split-brain checker a été configuré avec l'adresse IP d'un témoin (typiquement un routeur),
le split-brain agit lorsqu'un serveur passe de PRIM à ALONE ou de SECOND à ALONE,
en cas d'isolement du réseau, avant de passer en ALONE, les deux nœuds testent l'adresse IP,
le nœud qui peut accéder à l'adresse IP passe à ALONE, l'autre passe à WAIT,
lorsque l'isolement est réparé, le nœud WAIT resynchronise ses données et devient SECOND.

Remarque : Si le témoin est en panne ou déconnecté, les deux nœuds passent à WAIT et l'application n'est plus en cours d'exécution. C'est pourquoi vous devez choisir un témoin robuste comme un routeur.

Internes

Fichiers internes à SafeKit pour la haute disponibilité de Docker avec réplication temps réel synchrone et tolérance aux pannes

Allez dans le tab Advanced Configuration de la console pour modifier les fichiers ci-dessous.

Fichiers internes au module Linux mirror.safe

userconfig.xml (description dans le guide de l'utilisateur)

<!DOCTYPE safe>
<safe>
   <service mode="mirror" defaultprim="alone" maxloop="3" loop_interval="24" failover="on">
      <!-- Server Configuration -->
      <!-- Names or IP addresses on the default network are set during initialization in the console -->
      <heart pulse="700" timeout="30000">
         <heartbeat name=”default” ident=”flow”/>
      </heart>
      <!-- Virtual IP Configuration -->
      <!-- Replace
         * VIRTUAL_TO_BE_DEFINED by the name/IP of your virtual server 
      -->
      <vip>
         <interface_list>
            <interface check="on" arpreroute="on">
               <real_interface>
                  <virtual_addr addr="VIRTUAL_TO_BE_DEFINED" where="one_side_alias"/>
               </real_interface>
            </interface>
         </interface_list>
      </vip>
      <!-- Software Error Detection Configuration -->
      <!-- Replace
         * PROCESS_NAME by the name of the process to monitor
      -->
      <errd polltimer="10">
        <proc name="PROCESS_NAME" atleast="1" action="restart" class="prim" />
      </errd>
      <!-- File Replication Configuration -->
      <rfs mountover="off" async="second" acl="off" nbrei="3" >
         <replicated dir="/test1replicated" mode="read_only"/>
         <replicated dir="/test2replicated" mode="read_only"/>
      </rfs>
      <!-- User scripts activation -->
      <user nicestoptimeout="300" forcestoptimeout="300" logging="userlog"/>
   </service>
</safe>

start_prim

#!/bin/sh
# Script called on the primary server for starting application

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

# stdout goes into Application log
echo "Running start_prim $*" 

res=0

# Fill with your application start call

if [ $res -ne 0 ] ; then
  $SAFE/safekit printe "start_prim failed"

  # uncomment to stop SafeKit when critical
  # $SAFE/safekit stop -i "start_prim"
fi

stop_prim

#!/bin/sh
# Script called on the primary server for stopping application

# For logging into SafeKit log use:
# $SAFE/safekit printi | printe "message" 

#----------------------------------------------------------
#
# 2 stop modes:
#
# - graceful stop
#   call standard application stop
#
# - force stop ($1=force)
#   kill application's processes
#
#----------------------------------------------------------

# stdout goes into Application log
echo "Running stop_prim $*" 

res=0

# default: no action on forcestop
[ "$1" = "force" ] && exit 0

# Fill with your application stop call

[ $res -ne 0 ] && $SAFE/safekit printe "stop_prim failed"