Lorsqu'il y a un isolement réseau, le comportement par défaut est :

comme les heartbeats sont perdus pour chaque nœud, chaque nœud passe en ALONE et exécute l'application avec son adresse IP virtuelle (double exécution de l'application modifiant ses données locales),
lorsque l'isolement est réparé, un nœud ALONE est obligé de s'arrêter et de resynchroniser ses données depuis l'autre nœud,
à la fin, le cluster est PRIM-SECOND (ou SECOND-PRIM selon la détection d'adresse IP virtuelle en double faite par Windows).

Lorsqu'il y a un isolement du réseau, le comportement avec un split-brain checker est :

un split-brain checker a été configuré avec l'adresse IP d'un témoin (typiquement un routeur),
le split-brain agit lorsqu'un serveur passe de PRIM à ALONE ou de SECOND à ALONE,
en cas d'isolement du réseau, avant de passer en ALONE, les deux nœuds testent l'adresse IP,
le nœud qui peut accéder à l'adresse IP passe à ALONE, l'autre passe à WAIT,
lorsque l'isolement est réparé, le nœud WAIT resynchronise ses données et devient SECOND.

Remarque : Si le témoin est en panne ou déconnecté, les deux nœuds passent à WAIT et l'application n'est plus en cours d'exécution. C'est pourquoi vous devez choisir un témoin robuste comme un routeur.

Qu'est-ce qu'un heartbeat ?

Le mécanisme de base pour synchroniser deux serveurs et détecter les pannes de serveur est le heartbeat, qui est un flux de données de surveillance sur un réseau partagé par une paire de serveurs.

Le logiciel SafeKit supporte autant de heartbeats qu'il y a de réseaux partagés par les deux serveurs.

Le mécanisme de heartbeat est utilisé pour implémenter des clusters Windows et Linux. Il est intégré au cluster miroir de SafeKit avec réplication de fichiers en temps réel et basculement.

Heartbeats de SafeKit

En fonctionnement normal, les deux serveurs échangent leurs états (PRIM, SECOND, les états des ressources) via les canaux de heartbeat et synchronisent leurs procédures de démarrage et d'arrêt des applications.

En particulier, en cas de basculement programmé, le script d'arrêt qui stoppe l'application est d'abord exécuté sur le serveur primaire, avant d'exécuter le script de démarrage sur le serveur secondaire. Ainsi, les données répliquées sur le serveur secondaire sont dans un état sûr correspondant à un arrêt propre de l'application.

Perte de tous les heartbeats

Lorsque tous les heartbeats sont perdus sur un serveur, ce serveur considère que l'autre serveur est en panne et passe à l'état ALONE.

Si c'est le serveur SECOND qui passe à l'état ALONE, alors il y a basculement de l'application avec redémarrage de l'application sur le serveur secondaire.

Bien que non obligatoire, il est préférable d'avoir deux canaux de heartbeat sur deux réseaux différents pour synchroniser les deux serveurs afin de séparer le cas de la panne réseau de celui de la panne serveur.

Split brain checker de SafeKit

Avec le logiciel de haute disponibilité SafeKit, le quorum au sein d'un cluster Windows ou Linux ne nécessite pas de troisième serveur de quorum ni de disque quorum. Un split brain checker simple est suffisant pour éviter la double exécution d'une application.

En cas de perte de tous les heartbeats entre les serveurs, le split brain checker sélectionne un seul serveur pour devenir le serveur primaire. L'autre serveur passe à l'état WAIT jusqu'à ce qu'il reçoive à nouveau les heartbeats. Il repasse alors en secondaire après avoir resynchronisé les données répliquées du serveur primaire.

Comment fonctionne le split brain checker ?

L'élection du serveur primaire est basée sur le ping d'une adresse IP, appelée témoin. Le témoin est généralement un routeur toujours disponible. En cas d'isolation réseau, seul le serveur ayant accès au témoin sera primaire et passera ALONE, l'autre ira en WAIT.

Le témoin n'est pas testé en permanence mais seulement lorsque tous les heartbeats sont perdus. Si à ce moment-là, le témoin est en panne, le cluster passe à l'état WAIT-WAIT et un administrateur peut choisir de redémarrer l'un des serveurs en tant que serveur primaire via la console Web de SafeKit.

Que se passe-t-il sans split brain checker ?

En cas d'isolation réseau, les deux serveurs passeront à l'état ALONE exécutant l'application critique. Les répertoires répliqués sont isolés et chaque application travaille sur ses propres données dans son propre répertoire.

A la reconnexion du réseau, SafeKit choisit par défaut le serveur qui était PRIM avant l'isolation comme nouveau primaire et force l'autre serveur en SECOND avec une resynchronisation de toutes ses données depuis le serveur PRIM.

Remarque : Windows peut détecter une adresse IP en double sur un serveur et supprimer l'adresse IP virtuelle sur ce serveur. SafeKit dispose d'un checker pour forcer un redémarrage dans ce cas.

Etape 1. Réplication en temps réel

Le serveur 1 (PRIM) exécute l'application. Les utilisateurs sont connectés à une adresse IP virtuelle. Seules les modifications faites par l'application à l'intérieur des fichiers sont répliquées en continue à travers le réseau.

La réplication est synchrone sans perte de données en cas de panne contrairement à une réplication asynchrone.

Il vous suffit de configurer les noms des répertoires à répliquer dans SafeKit. Il n'y a pas de pré-requis sur l'organisation du disque. Les répertoires peuvent se trouver sur le disque système.

Etape 2. Basculement automatique

Lorsque le serveur 1 est défaillant, SafeKit bascule l'adresse IP virtuelle sur le serveur 2 et redémarre automatiquement l'application. L'application retrouve les fichiers répliqués à jour sur le serveur 2.

L'application poursuit son exécution sur le serveur 2 en modifiant localement ses fichiers qui ne sont plus répliqués vers le serveur 1.

Le temps de basculement est égal au temps de détection de la panne (30 secondes par défaut) et au temps de relance de l'application.

Etape 4. Retour à la normale

Après la réintégration, les fichiers sont à nouveau en mode miroir comme à l'étape 1. Le système est en haute disponibilité avec l'application qui s'exécute sur le serveur 2 et avec réplication temps réel des modifications vers le serveur 1.

Si l'administrateur souhaite que son application s'exécute en priorité sur le serveur 1, il peut exécuter une commande de basculement, soit manuellement à un moment opportun, soit automatiquement par configuration.

Pourquoi un réseau LAN/VLAN entre sites distants ?

Basculement automatique de l'adresse IP virtuelle avec 2 nœuds dans le même sous-réseau.
Bonne bande passante pour la resynchronisation (étape 3) et bonne latence pour la réplication synchrone (typiquement un aller-retour de moins de 2 ms).

Alternative

Utilisez un équilibreur de charge pour l'adresse IP virtuelle si les 2 nœuds sont dans 2 sous-réseaux (supporté par SafeKit, notamment dans le cloud).
Utilisez des solutions de backup avec réplication asynchrone pour un réseau à latence élevée.

Différentiateurs clés entre la haute disponibilité au niveau machine virtuelle et au niveau application

Différenciateurs clés entre SafeKit vs Microsoft Hyper-V cluster et VMware HA

Différenciateurs clés d'un cluster miroir avec réplication et reprise sur panne

Cluster miroir d'Evidian SafeKit avec réplication de fichiers temps réel et reprise sur panne
Économisez avec 3 produits en 1 En savoir plus >	Le logiciel de haute disponibilité SafeKit sur Windows et Linux permet d'économiser sur : les stockages partagés ou répliqués externes coûteux, les boîtiers de load balancing, les éditions entreprise des OS et des bases de données SafeKit offre toutes les fonctionnalités de clustering par logiciel : réplication de fichiers temps réel synchrone, surveillance des défaillances serveur / réseau / logiciel, redémarrage automatique de l'application, adresse IP virtuelle basculée en cas de panne pour rerouter les clients
Configuration très simple En savoir plus >	La configuration du cluster est très simple et réalisée au moyen de modules applicatifs. De nouveaux services et de nouveaux répertoires répliqués peuvent être ajoutés à un module applicatif existant pour compléter une solution de haute disponibilité Toute la configuration des clusters se fait à l'aide d'une console d'administration web centralisée simple Il n'y a pas de contrôleur de domaine ou d'Active Directory à configurer comme avec Microsoft cluster
Réplication synchrone En savoir plus >	La réplication en temps réel est synchrone sans perte de données en cas de panne Ce n'est pas le cas avec une réplication asynchrone
Retour d'un serveur tombé en panne totalement automatisé (failback) En savoir plus >	Suite à une panne lorsqu'un serveur reboot, le retour du serveur tombé en panne se fait de manière totalement automatique dans le cluster avec une resynchronisation de ses données et sans arrêter l'application sur le seul serveur restant Ce n'est pas le cas avec la plupart des solutions de réplication particulièrement celles avec une réplication au niveau base de données. Des opérations manuelles sont requises pour resynchroniser le serveur défaillant. Il peut être même nécessaire d'arrêter l'application sur le seul serveur restant
Réplication de n'importe quel type de données En savoir plus >	La réplication fonctionne pour les bases de données mais aussi pour n'importe quel fichier qui doit-être répliqué Ce n'est pas le cas pour la réplication au niveau base de données
Réplication de fichiers vs réplication de disque En savoir plus >	La réplication est basée sur des répertoires de fichiers qui peuvent être localisés n'importe où (même dans le disque système) Ce n'est pas le cas avec la réplication de disque où une configuration spéciale de l'application est nécessaire pour placer les données applicatives dans un disque spécial
Réplication de fichiers vs disque partagé En savoir plus >	Les serveurs peuvent être placés dans deux sites distants Ce n'est pas le cas avec les solutions à disque partagé
Sites distants et adresse IP virtuelle En savoir plus >	Toutes les fonctionnalités de clustering SafeKit fonctionnent pour 2 serveurs sur des sites distants. La réplication requiert un réseau de type LAN étendu (latence = performance de la réplication synchrone, bande passante = performance de la resynchronisation après panne). Si les deux serveurs sont connectés au même réseau IP via un réseau local étendu entre deux sites distants, l'adresse IP virtuelle de SafeKit fonctionne avec une redirection au niveau 2 Si les deux serveurs sont connectés à deux réseaux IP différents entre deux sites distants, l'adresse IP virtuelle peut être configurée au niveau d'un load balancer avec le "health check" de SafeKit.
Split brain et quorum En savoir plus >	La solution fonctionne avec seulement 2 serveurs et pour le quorum (isolation réseau entre 2 sites), un simple split brain checker vers un routeur est offert pour supporter une seule exécution de l'application critique Ce n'est pas le cas pour la plupart des solutions de clustering où un 3^ième serveur est nécessaire pour le quorum
Cluster actif/actif En savoir plus >	Le serveur secondaire n'est pas dédié au redémarrage du serveur primaire. Le cluster peut être actif-actif en exécutant deux modules miroirs différents Ce n'est pas le cas avec un système fault-tolerant dans lequel le secondaire est dédié à l'exécution de la même application synchronisée au niveau instruction
Solution de haute disponibilité uniforme En savoir plus >	SafeKit implémente un cluster miroir avec une réplication et une reprise sur panne. Mais il implémente aussi un cluster ferme avec load balancing et reprise sur panne. Ainsi une architecture N-tiers peut-être rendue hautement disponible et load balancée avec la même solution sur Windows et Linux (même installation, configuration, administration avec la console SafeKit ou les commandes en ligne). Ceci est unique sur le marché Ce n'est pas le cas avec une architecture mixant des technologies différentes pour le load balancing, la réplication et la reprise sur panne
RTO / RPO En savoir plus >	SafeKit met en œuvre un redémarrage rapide de l'application en cas de panne : autour d'1 mn ou moins Un redémarrage rapide de l'application n'est pas assuré avec une réplication complète de machines virtuelles. En cas de panne d'un hyperviseur, une machine virtuelle doit être rebootée sur un nouvel hyperviseur avec un temps de redémarrage lié au reboot de l'OS comme avec VMware HA ou Hyper-V cluster

Différenciateurs clés d'un cluster ferme avec équilibrage de charge et reprise sur panne

Cluster ferme d'Evidian SafeKit avec load balancing et reprise sur panne
Pas de load balancer, ni de serveur proxy dédié, ni d'adresse Ethernet multicast spéciale En savoir plus >	La solution ne nécessite pas de load balancer, ni de serveur proxy en amont de la ferme pour implémenter le load balancing. SafeKit est installé directement sur les serveurs applicatifs à load balancer. Le load balancing est basé sur une adresse IP virtuelle/adresse MAC Ethernet standard et fonctionne avec des serveurs physiques et des machines virtuelles sur Windows et Linux sans configuration réseau spéciale Ce n'est pas le cas avec les load balancers réseau Ce n'est pas le cas avec les proxys dédiés sur Linux Ce n'est pas le cas avec une adresse Ethernet multicast spéciale sur Windows
Toutes les fonctionnalités de clustering En savoir plus >	La solution inclut toutes les fonctionnalités de clustering : adresse IP virtuelle, load balancing sur adresse IP client ou sur sessions, surveillance des défaillances serveurs / réseaux / logicielles, redémarrage automatique de l'application avec un temps de reprise rapide, une option de réplication avec un module miroir Ce n'est pas le cas avec les autres solutions de load balancing. Elles sont capables de réaliser le load balancing mais elle n'inclut pas une solution de clustering complète avec des scripts de redémarrage et un redémarrage automatique de l'application en cas de défaillance. Elles n'offrent pas l'option de réplication La configuration du cluster est très simple et réalisée au moyen de modules applicatifs. Il n'y a pas de contrôleur de domaine et d'Active Directory à configurer sur Windows. La solution fonctionne sur Windows et Linux
Sites distants et adresse IP virtuelle En savoir plus >	Si les serveurs sont connectés au même réseau IP via un réseau local étendu entre des sites distants, l’adresse IP virtuelle de SafeKit fonctionne avec un équilibrage de charge au niveau 2 Si les serveurs sont connectés à des réseaux IP différents entre des sites distants, l'adresse IP virtuelle peut être configurée au niveau d'un load balancer à l'aide du "health check" de SafeKit. Ainsi, vous pouvez profiter de toutes les fonctionnalités de clustering de SafeKit, notamment la surveillance et la reprise automatique de l'application critique sur les serveurs applicatifs
Solution de haute disponibilité uniforme En savoir plus >	SafeKit implémente un cluster ferme avec load balancing et reprise sur panne. Mais il implémente aussi un cluster miroir avec réplication et reprise sur panne. Ainsi une architecture N-tiers peut-être rendue hautement disponible et load balancée avec la même solution sur Windows et Linux (même installation, configuration, administration avec la console SafeKit ou avec les commandes en ligne). Ceci est unique sur le marché Ce n'est pas le cas avec une architecture mixant des technologies différentes pour le load balancing, la réplication et la reprise sur panne

Différenciateurs clés de la technologie de haute disponibilité SafeKit

Cluster logiciel vs cluster matériel En savoir plus >
Un cluster logiciel simple avec le package SafeKit installé sur deux serveurs	Un cluster matériel complexe avec du stockage externe ou des boîtiers de load balancing
Cluster de type "shared nothing"" vs cluster à disque partagé En savoir plus >
SafeKit est un cluster sans partage de type "shared-nothing": simple à déployer même sur des sites distants	Un cluster à disque partagé est complexe à déployer
Haute disponibilité applicative vs Haute disponibilité de machines virtuelles complètes En savoir plus >
La haute disponibilité applicative supporte les pannes matérielles et logicielles avec un temps de reprise rapide (RTO autour d'1 mn ou moins) La haute disponibilité applicative nécessite de définir des scripts de redémarrage par application et des dossiers à répliquer (modules applicatifs SafeKit).	La haute disponibilité de machines virtuelles complètes (VM) supporte seulement les pannes matérielles avec un reboot de la VM et un temps de reprise dépendant du reboot de l'OS. Pas de scripts de redémarrage à définir avec des machines virtuelles complètes en haute disponibilité (modules SafeKit hyperv.safe ou kvm.safe). Les hyperviseurs sont actif/actif avec simplement plusieurs machines virtuelles.
Haute disponibilité vs tolérance aux fautes En savoir plus >
Chaque serveur peut être le serveur de reprise de l'autre serveur. Exception logicielle avec redémarrage dans un autre environnement OS. Upgrade en douceur de l'application et de l'OS possible serveur par serveur (les versions N et N+1 peuvent coexister)	Serveur secondaire dédié à l'exécution de la même application synchronisée au niveau instruction. Exception logicielle sur les 2 serveurs en même temps. Upgrade en douceur impossible
Réplication synchrone vs réplication asynchrone En savoir plus >
SafeKit met en œuvre une réplication temps réel synchrone sans perte de données en cas de panne	Avec une réplication asynchrone, il y a une perte de données en cas de panne
Réplication de fichiers au niveau octet vs réplication de disque au niveau du bloc En savoir plus >
SafeKit met en œuvre la réplication de fichiers temps réel au niveau octet et se configure simplement avec les répertoires applicatifs à répliquer même dans le disque système	La réplication de disque au niveau bloc est complexe à configurer et nécessite de mettre les données de l'application dans un disque spécial
Heartbeat, reprise sur panne et quorum pour éviter 2 serveurs maîtres En savoir plus >
Pour éviter 2 serveur maîtres, SafeKit propose un simple "split brain checker" configuré sur un routeur	Pour éviter 2 serveur maîtres, les autres clusters demandent une configuration complexe avec une 3^ième machine, un disque de quorum spécial, une interconnexion spéciale
Adresse IP virtuelle primaire/secondaire, load balancing réseau, basculement sur panne En savoir plus >
Aucun serveur proxy dédié et aucune configuration réseau particulière ne sont requis dans un cluster SafeKit pour mettre en œuvre des adresses IP virtuelles	Une configuration réseau spéciale est requise dans d'autres clusters pour mettre en œuvre des adresses IP virtuelles. A noter que SafeKit propose un vérificateur d'état adapté aux équilibreurs de charge

SafeKit Solutions Overview

SafeKit Quick Installation Guides

HA de VMs avec le module Hyper-V ou KVM de SafeKit	HA d'application avec les modules applicatifs de SafeKit
SafeKit dans 2 hyperviseurs: réplication et reprise de VM complète	SafeKit dans 2 machines virtuelles ou physiques: réplication et reprise au niveau applicatif
Réplique plus de données (App+OS)	Réplique seulement les données applicatives
Reboot de la machine virtuelle sur l'hyperviseur 2 si l'hyperviseur 1 crash Temps de reprise dépendant du reboot de l'OS Checker de VM et reprise sur panne (la machine virtuelle ne répond pas, est tombée en panne ou a cessé de fonctionner)	Temps de reprise rapide avec redémarrage de l'application sur OS2 en cas de panne du serveur 1 Autour d'1 mn ou moins (voir RTO/RPO ici) Checker applicatif et reprise sur panne logicielle
Solution générique pour n'importe quelle application / OS	Scripts de redémarrage à écrire dans des modules applicatifs
Fonctionne avec Windows/Hyper-V et Linux/KVM mais pas avec VMware	Indépendant de la plateforme, fonctionne avec les machines physiques ou virtuelles, une infrastructure cloud et tout hyperviseur, y compris VMware

SafeKit avec le module Hyper-V ou le module KVM	Microsoft Hyper-V Cluster & VMware HA

Pas de disque partagé - réplication temps réel synchrone à la place avec 0 perte de données	Disque partagé et baie de disques externe spécifique
Sites distants = pas de SAN pour la réplication	Sites distants = baies de disques répliquées à travers un SAN
Aucune compétence informatique spécifique pour configurer le système (avec hyperv.safe et kvm.safe)	Compétence informatique spécifique pour configurer le système
Notez que les solutions Hyper-V/SafeKit et KVM/SafeKit sont limitées à la réplication et au basculement de 32 machines virtuelles.	Notez que la réplication intégrée à Hyper-V ne peut pas être considérée comme une solution de haute disponibilité. En effet, la réplication est asynchrone, ce qui peut entraîner une perte de données en cas de panne, et elle ne dispose pas de fonctionnalités de basculement et de restauration automatiques.

Heartbeat, failover et quorum dans un cluster Windows ou Linux

Evidian SafeKit

Quels sont les différents scénarios en cas d'isolement réseau dans un cluster ?

Un seul réseau

Deux réseaux avec un réseau de réplication dédié

Un seul réseau et un checker split-brain

Comment fonctionnent les heartbeats et le basculement dans un cluster Windows ou Linux ?

Qu'est-ce qu'un heartbeat ?

Heartbeats de SafeKit

Perte de tous les heartbeats

Problème de split brain et quorum lorsque les serveurs sont dans deux salles informatiques distantes

Salles informatiques distantes

Split brain

Complexité des solutions

Quorum simple avec le split brain checker de SafeKit

Split brain checker de SafeKit

Comment fonctionne le split brain checker ?

Que se passe-t-il sans split brain checker ?

Comment fonctionne le cluster miroir de SafeKit ?

Etape 1. Réplication en temps réel

Etape 2. Basculement automatique

Etape 3. Réintégration après panne

Etape 4. Retour à la normale

Utilisation typique avec SafeKit

Pourquoi une réplication de quelques Tera-octets ?

Pourquoi une réplication < 1 000 000 fichiers ?

Pourquoi un basculement ≤ 32 VMs répliquées ?

Pourquoi un réseau LAN/VLAN entre sites distants ?

Différentiateurs de la solution de haute disponibilité SafeKit

Cluster miroir d'Evidian SafeKit avec réplication de fichiers temps réel et reprise sur panne

Cluster ferme d'Evidian SafeKit avec load balancing et reprise sur panne

SafeKit Solutions Overview

SafeKit Quick Installation Guides