Guide d'installation rapide de SafeKit avec Milestone XProtect Management Server (module miroir milestone.safe)

Guide d'installation rapide de SafeKit avec Milestone et SQL

Prérequis

Vous avez besoin de Milestone XProtect et SQL installés sur 2 nœuds (machines virtuelles ou serveurs physiques).
SQL Server peut être externe, voir la note ci-dessous.
Sous Windows, avec le gestionnaire de services Windows, placez Milestone XProtect et les services SQL avec Type de démarrage de démarrage = Manuel sur les deux nœuds.
SafeKit contrôle le démarrage des services Milestone XProtect et SQL dans start_prim. Editez start_prim lors de la configuration pour vérifier si vous avez mis tous les services en démarrage manuel, y compris les nouveaux que vous pouvez ajouter.

Note : SQL Server peut être externe. Dans ce cas, à l'étape 4 lors de la configuration étape par étape :

supprimer la réplication des dossiers SQL Data\ et Log\,
supprimer le checker de processus sur sqlservr.exe,
supprimer le démarrage et l'arrêt du service MSSQLServer dans les scripts start_prim et stop_prim.

Vous pouvez implémenter la redondance du serveur SQL externe avec SafeKit et le module sqlserver.safe.

Dans ce cas sur les 2 nœuds de management, configurez la connexion de Milestone Management à SQL avec l'adresse IP virtuelle du module sqlserver.safe (vérifiez la configuration avec la clé de registre HKEY_LOCAL_MACHINE\SOFTWARE\VideoOS\Server\ConnectionString).

Note : Le serveur d'événements peut être externe au serveur de management.

Dans ce cas, vous disposez de 2 clusters avec 2 installations de milestone.safe : une pour le cluster de management, l'autre pour le cluster d'événements.

Pour le cluster de management, à l'étape 4 lors de la configuration étape par étape de milestone.safe :

supprimez le démarrage et l'arrêt de "MilestoneEventServerService" dans les scripts start_prim et stop_prim.

Et pour le cluster d'événements, à l'étape 4 lors de la configuration étape par étape de milestone.safe :

supprimez le démarrage et l'arrêt de "Milestone XProtect Management Server" et de "Milestone XProtect Log Server" dans les scripts start_prim et stop_prim,
supprimer le démarrage et l'arrêt du service MSSQLServer dans les scripts start_prim et stop_prim,
supprimer la réplication des dossiers SQL Data\ et Log\,
supprimer le checker de processus sur sqlservr.exe,
lors de la configuration étape par étape, enregistrer le serveur d'événements avec l'adresse IP virtuelle du cluster de management (ou installer le serveur d'événements depuis le Download Manager et définissez l'adresse IP virtuelle du cluster de management lors de l'installation),
dans le Milestone management client, définissez le serveur d'événements avec l'adresse IP virtuelle du cluster d'événements dans les Registered Services.

En cas de migration de Milestone de la version N vers la version N+1 dans un cluster SafeKit, lisez cet article : Milestone Management Migration with SafeKit

Installation du package sous Windows

Téléchargez la version gratuite de SafeKit sur 2 nœuds Windows.

Remarque : la version gratuite inclut toutes les fonctionnalités de SafeKit. À la fin de l'essai, vous pouvez activer des clés de licence permanentes sans désinstaller le package.
Pour ouvrir le pare-feu Windows, sur les deux nœuds démarrez un powershell en tant qu'administrateur et tapez
```
c:/safekit/private/bin/firewallcfg add
```
Pour initialiser le mot de passe de l'utilisateur admin par défaut de la console, sur les deux nœuds démarrez un powershell en tant qu'administrateur et tapez
```
c:/safekit/private/bin/webservercfg.ps1 -passwd mdp
```
1. Utilisez des caractères alphanumériques pour le mot de passe (pas de caractères spéciaux).
2. mdp doit être le même sur les deux nœuds.
Exclure des analyses antivirus C:\safekit\ (le répertoire d'installation par défaut) et tous les dossiers répliqués que vous allez définir.

Les antivirus peuvent rencontrer des problèmes de détection avec SafeKit en raison de son intégration étroite avec le système d'exploitation, de ses mécanismes d'IP virtuelle, de sa réplication en temps réel et du redémarrage de services critiques.

Configuration étape par étape

1. Lancez la console SafeKit

Lancez la console Web dans un navigateur sur un nœud du cluster en vous connectant à http://localhost:9010.
Entrez admin comme nom d'utilisateur et le mot de passe défini lors de l'installation.

Vous pouvez également exécuter la console dans un navigateur sur un poste de travail externe au cluster.

La configuration de SafeKit se fait sur les deux nœuds à partir d'un seul navigateur.

Pour sécuriser la console Web, consultez 11. Sécurisation du service web de SafeKit dans le Guide de l'utilisateur.

2. Configurer les adresses des nœuds

Entrez les adresses IP des nœuds et appuyez sur la touche Tabulation pour vérifier la connectivité et remplir le nom des nœuds.
Ensuite, cliquez sur Save and apply pour enregistrer la configuration.

Si le nœud 1 ou le nœud 2 a une couleur rouge, vérifiez la connectivité du navigateur aux deux nœuds et vérifiez le pare-feu sur les deux nœuds pour résoudre le problème.

Si vous le souhaitez, vous pouvez ajouter un nouveau LAN pour un deuxième heartbeat et pour un réseau de réplication dédié.

Cette opération placera les adresses IP dans le fichier cluster.xml sur les deux nœuds (plus d'informations dans le training avec les lignes de commande).

4. Configurer le module

Choisissez un démarrage Automatic du module au boot sans délai.
Normalement, vous disposez d'un seul réseau Heartbeat sur lequel la réplication est effectuée. Mais vous pouvez définir un réseau privé si nécessaire (en ajoutant un LAN à l'étape 2).
Saisissez une Virtual IP address. Une adresse IP virtuelle est une adresse IP standard dans le même réseau IP (même sous-réseau) que les adresses IP des deux nœuds.
Les clients de l'application doivent être configurés avec l'adresse IP virtuelle (ou le nom DNS associé à l'adresse IP virtuelle).
L'adresse IP virtuelle est automatiquement basculée en cas de panne.
Vérifiez que les Replicated directories sont installés sur les deux nœuds et contiennent les données de l'application.
La réplication des données et des journaux est essentielle pour une base de données.
Vous pouvez créer des répertoires répliqués supplémentaires selon vos besoins.
Notez que si un nom de processus est affiché dans Monitored processes/services, il sera surveillé avec une action de redémarrage en cas de panne. La configuration d'un mauvais nom de processus entraînera l'arrêt du module juste après son démarrage.

Si SQL est sur les serveurs de management :

Les bases de données système de SQL (comme master.mdf et mastlog.ldf) doivent être situées dans les mêmes répertoires sur les deux nœuds. Les répertoires doivent être configurés comme répliqués.
SQL doit également être installé au même emplacement dans le système de fichiers sur les deux nœuds car la base de données de ressources de SQL se trouve dans le binaire et est requise pour le basculement sur panne. Cette base de données n'a pas besoin d'être répliquée.
Les bases de données SQL de Milestone (.mdf et .ldf) doivent se trouver dans les mêmes répertoires sur les deux nœuds. Les répertoires doivent être configurés comme répliqués. Les bases de données Milestone sont les suivantes selon cet article .

Si vous cliquez sur Advanced configuration, le fichier userconfig.xml s'affiche (exemple avec Microsoft SQL Server).

5. Modifier les scripts (facultatif)

start_prim et stop_prim doivent contenir le démarrage et l'arrêt de l'application Milestone XProtect et SQL (exemple fourni pour Microsoft SQL Server à droite).
Vous pouvez ajouter de nouveaux services dans ces scripts.
Vérifiez que les noms des services démarrés dans ces scripts sont ceux installés sur les deux nœuds, sinon modifiez-les dans les scripts.
Sous Windows et sur les deux nœuds, avec le gestionnaire de services Windows, définissez Boot Startup Type = Manual pour tous les services démarrés dans start_prim (SafeKit contrôle le démarrage des services dans start_prim).

9. Démarrez le nœud avec des données à jour

Si le nœud 1 possède les répertoires répliqués à jour, sélectionnez-le et démarrez-le en tant que primaire As primary.

Lorsque le nœud 2 sera démarré, toutes les données seront copiées du nœud 1 vers le nœud 2.

Si vous faites le mauvais choix, vous courez le risque de synchroniser des données obsolètes sur les deux nœuds.

Il est également supposé que l'application Milestone XProtect et SQL est arrêtée sur le nœud 1 afin que SafeKit installe les mécanismes de réplication puis démarre l'application dans le script start_prim.

Utilisez Start pour les démarrages suivants : SafeKit retient le serveur le plus à jour. Le démarrage As primary est un démarrage spécial la première fois ou lors d'opérations exceptionnelles.

10. Attendez le passage à ALONE (vert)

Le nœud 1 doit atteindre l'état ALONE (vert), ce qui signifie que l'adresse IP virtuelle est définie et que le script start_prim a été exécuté sur le nœud 1.

Si ALONE (vert) n’est pas atteint ou si l'application n'est pas démarrée, analysez pourquoi avec le journal du module du nœud 1.

cliquez sur l'icône « journal » de node1 pour ouvrir le journal du module et recherchez des messages d'erreur tels qu'un checker détectant une erreur et arrêtant le module.
cliquez sur start_prim dans le journal : les messages de sortie du script sont affichés à droite et des erreurs peuvent être détectées comme un service mal démarré.

Si le cluster est dans l'état WAIT (rouge) not uptodate, STOP (rouge) not upodate, arrêtez le nœud WAIT et forcer son démarrage en tant que primaire.

11. Dans le bureau du nœud 1, arrêtez, puis enregistrez sur l'adresse IP virtuelle et redémarrez le Milestone Management Server

Exécutez les points suivants sur le nœud 1 suivant l'image :

Cliquez avec le bouton droit sur l'icône Milestone Management Server dans la barre de tâches.
Stop Management Server Service
Choisissez ensuite Server Configurator... et enregistrez l'adresse IP virtuelle.
Start Management Server Service

Cette procédure enregistre le Management Server du nœud 1 dans la base de données SQL (exécutée sur le nœud 1) via une connexion à l'adresse virtuelle.

12. Résoudre le problème d'authentification Windows lors du basculement

Lorsque vous démarrez Milestone XProtect Management Client, vous devez vous authentifier soit avec la "Windows authentication" soit avec la "Basic authentication" (cliquez ici pour voir la capture d'écran).

Si l'authentification Windows de Milestone a été configurée avec un Active Directory, l'utilisateur/mot de passe sera récupéré dans l'AD externe sur le nœud secondaire après un basculement, il n'y a donc pas de configuration particulière.

Ouvrez Milestone XProtect Management Client et dans Security / Roles (voir image)

Définissez le groupe Windows BUILTIN\Administrators.

En définissant le groupe BUILTIN\Administrators, vous pourrez vous authentifier sur le nœud secondaire avec un administrateur Windows local.

Sinon aucune authentification ne sera possible avec un compte Windows local sur le secondaire après un basculement.

C'est parce que le groupe BUILTIN\Administrators a le même SID sur les deux nœuds. Pour les autres groupes locaux ou utilisateurs locaux, l'authentification ne sera pas possible sur le secondaire car les SID sont différents entre les deux nœuds même s'ils portent le même nom.
Créez un utilisateur avec une "Basic authentication" (Admin dans l'image) pour être sûr de vous ré-authentifier sur le nœud secondaire après un basculement. Pour la "Basic authentication", l'utilisateur/mot de passe est stocké dans la base de données SQL et sera récupéré sur le nœud secondaire après un basculement.

13. Dans le bureau du nœud 2, enregistrez le serveur de gestion sur l'adresse IP virtuelle

Choisissez Server Configurator dans la barre des tâches du nœud 2 et enregistrez-le sur l'adresse IP virtuelle (voir image).
Puis arrêtez les services avec Stop Management Server Service.

Le compte de l'utilisateur exécutant l'enregistrement sur le nœud 2 doit avoir le rôle d'administrateur dans Milestone sur le nœud 1.

Si c'est l'administrateur local sur le nœud 2 qui effectue l'enregistrement, le groupe Windows BUILTIN\Administrators doit avoir été défini dans Management Client / Security / Roles à l'étape 12. Sinon, l'enregistrement ne fonctionnera pas.

Cette procédure enregistre le serveur de gestion du nœud 2 dans la base de données SQL (exécutée sur le nœud 1) via une connexion à l'adresse virtuelle.

14. Démarrer le nœud 2

Démarrez le nœud 2 avec son menu contextuel.
Attendez l'état SECOND (vert).

Le nœud 2 reste dans l'état SECOND (orange) lors de la resynchronisation des répertoires répliqués (copie du nœud 1 vers le nœud 2).

Cela peut prendre un certain temps en fonction de la taille des fichiers à resynchroniser dans les répertoires répliqués et de la bande passante du réseau.

Pour voir la progression de la copie, consultez le log du module et les ressources de réplication du nœud 2.

15. Vérifiez que le cluster est opérationnel

Vérifiez que le cluster est vert/vert avec les services Milestone XProtect et SQL exécutés sur le nœud PRIM et ne s'exécutant pas sur le nœud SECOND.
Seules les modifications à l'intérieur des fichiers sont répliquées en temps réel dans cet état.

Enregistrez les serveurs d'enregistrement avec l'adresse IP virtuelle.
Connectez Milestone Management Client et Milestone Smart Client sur l'adresse IP virtuelle.

Les composants qui sont clients des services Milestone XProtect et SQL doivent être configurés avec l'adresse IP virtuelle. La configuration peut se faire avec un nom DNS (si un nom DNS a été créé et associé à l'adresse IP virtuelle).

16. Tests

Arrêtez le nœud PRIM en faisant défiler son menu contextuel et en cliquant sur Stop.
Vérifiez qu'il y a un basculement sur le nœud 2 qui doit devenir ALONE (vert).
Et avec Microsoft Management Console (MMC) sous Windows ou avec des lignes de commande sous Linux, vérifiez le basculement des services Milestone XProtect et SQL (arrêtés sur le nœud 1 dans le script stop_prim et démarrés sur le nœud 2 dans le script start_prim).

Si ALONE (vert) n’est pas atteint sur le nœud 2 ou si l'application n'est pas démarrée, analysez pourquoi avec le journal du module du nœud 2.

cliquez sur l'icône « journal » de node2 pour ouvrir le journal du module et recherchez des messages d'erreur tels qu'un checker détectant une erreur et arrêtant le module.
cliquez sur start_prim dans le journal : les messages de sortie du script sont affichés à droite et des erreurs peuvent être détectées comme un service mal démarré.

Si tout va bien, lancez un démarrage du nœud 1, qui resynchronisera les répertoires répliqués depuis le nœud 2.

Si les choses vont mal, arrêtez le nœud 2 et forcez le démarrage en tant que primaire du nœud 1, qui redémarrera avec ses données localement saines au moment de l'arrêt.

Plus d'informations sur les tests dans le Guide de l'utilisateur.

18. Si nécessaire, configurez un checker splitbrain

Voir ci-dessous "Quels sont les différents scénarios en cas d'isolement réseau dans un cluster ?" pour savoir si vous devez configurer un checker splitbrain.
Allez dans la configuration du module et cliquez sur Checkers / Splitbrain (voir image) pour modifier les paramètres du splitbrain.
Enregistrez et appliquez la nouvelle configuration pour la redéployer sur les deux nœuds (le module doit être arrêté sur les deux nœuds pour enregistrer et appliquer).

Paramètres :

Resource name identifie le témoin avec un nom de ressource : splitbrain.witness. Vous pouvez modifier cette valeur pour identifier le témoin.
Witness address est l'argument du ping lorsqu'un nœud passe de PRIM à ALONE ou de SECOND à ALONE. Changez cette valeur avec l'IP du témoin (un élément robuste, typiquement un routeur).
Remarque : vous pouvez définir plusieurs adresses IP séparées par des espaces. Attention, les adresses IP doivent être accessibles depuis un nœud mais pas depuis l'autre en cas d'isolement du réseau.

Lorsqu'il y a un isolement réseau, le comportement par défaut est :

comme les heartbeats sont perdus pour chaque nœud, chaque nœud passe en ALONE et exécute l'application avec son adresse IP virtuelle (double exécution de l'application modifiant ses données locales),
lorsque l'isolement est réparé, un nœud ALONE est obligé de s'arrêter et de resynchroniser ses données depuis l'autre nœud,
à la fin, le cluster est PRIM-SECOND (ou SECOND-PRIM selon la détection d'adresse IP virtuelle en double faite par Windows).

Lorsqu'il y a un isolement du réseau, le comportement avec un split-brain checker est :

un split-brain checker a été configuré avec l'adresse IP d'un témoin (typiquement un routeur),
le split-brain agit lorsqu'un serveur passe de PRIM à ALONE ou de SECOND à ALONE,
en cas d'isolement du réseau, avant de passer en ALONE, les deux nœuds testent l'adresse IP,
le nœud qui peut accéder à l'adresse IP passe à ALONE, l'autre passe à WAIT,
lorsque l'isolement est réparé, le nœud WAIT resynchronise ses données et devient SECOND.

Remarque : Si le témoin est en panne ou déconnecté, les deux nœuds passent à WAIT et l'application n'est plus en cours d'exécution. C'est pourquoi vous devez choisir un témoin robuste comme un routeur.

Internes

Fichiers internes à SafeKit pour la haute disponibilité de Milestone XProtect avec réplication temps réel synchrone et tolérance aux pannes

Allez dans le tab Advanced Configuration de la console pour modifier les fichiers ci-dessous.

Fichiers internes dans le module milestone.safe

userconfig.xml (description dans le guide de l'utilisateur)

<!DOCTYPE safe>
<safe>
   <service mode="mirror">
      <!-- Heartbeat Configuration -->
      <!-- Names or IP addresses on the default network are set during initialization in the console -->
      <heart>
         <heartbeat name="default">
         </heartbeat>
      </heart>
      <!-- Virtual IP Configuration -->
      <!-- Define the name or IP address of your virtual server 
      -->
      <vip>
         <interface_list>
            <interface> 
               <real_interface>
                  <virtual_addr addr="VIRTUAL-IP-ADDRESS" where="one_side_alias" />
               </real_interface>
            </interface>
         </interface_list>
      </vip>
      <!-- Software Error Detection Configuration -->
      <errd polltimer="10">
         <!-- SQL Server process -->
         <proc name="sqlservr.exe" atleast="1" class="prim" action="restart" />
      </errd>
      <!-- File Replication Configuration -->
      <!-- Adapt with the directory of your SQL Server database and logs
      -->
      <rfs>
         <replicated dir="C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\DATA" mode="read_only" />
         <replicated dir="C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\Log" mode="read_only" />
      </rfs>
      <!-- User scripts activation -->
      <user />
   </service>
</safe>

start_prim.cmd

@echo off

rem Script called on the primary server for starting application services 

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem stdout goes into Application log
echo "Running start_prim %*" 

set res=0

rem TODO: set to manual the start of services when the system boots

net start "W3SVC"

for /F "usebackq tokens=*" %%A in ("%SAFEUSERBIN%\apppoollist.txt") do %systemroot%\system32\inetsrv\appcmd start apppool /apppool.name:"%%A"
if not %errorlevel% == 0 (
  "%SAFE%\safekit" printi "Application Pools start failed"
) else (
  "%SAFE%\safekit" printi "Application Pools started"
)

net start "MSSQLServer"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "SQL Server (MSSQLServer) start failed"
) else (
  %SAFE%\safekit printi "SQL Server (MSSQLServer) started"
)

"%SAFEBIN%\sleep" 10

net start "Milestone XProtect Management Server"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "Milestone XProtect Management Server start failed"
) else (
  %SAFE%\safekit printi "Milestone XProtect Management Server started"
)

"%SAFEBIN%\sleep" 10

net start "Milestone XProtect Log Server"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "Milestone XProtect Log Server start failed"
) else (
  %SAFE%\safekit printi "Milestone XProtect Log Server started"
)

net start "MilestoneEventServerService"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "MilestoneEventServerService start failed"
) else (
  %SAFE%\safekit printi "MilestoneEventServerService started"
)

net start "Milestone XProtect Data Collector Server"
if not %errorlevel% == 0 (
  %SAFE%\safekit printi "Milestone XProtect Data Collector Server start failed"
) else (
  %SAFE%\safekit printi "Milestone XProtect Data Collector Server started"
)

set res=%errorlevel%

if %res% == 0 goto end

:stop
"%SAFE%\safekit" printe "start_prim failed"

rem uncomment to stop SafeKit when critical
rem "%SAFE%\safekit" stop -i "start_prim"

:end

stop_prim.cmd

@echo off

rem Script called on the primary server for stopping application services 

rem For logging into SafeKit log use:
rem "%SAFE%\safekit" printi | printe "message"

rem ----------------------------------------------------------
rem
rem 2 stop modes:
rem
rem - graceful stop
rem   call standard application stop with net stop
rem
rem - force stop (%1=force)
rem   kill application's processes
rem
rem ----------------------------------------------------------

rem stdout goes into Application log
echo "Running stop_prim %*" 

set res=0

rem default: check mssql stopped on forcestop
if "%1" == "force" goto check

%SAFE%\safekit printi "Stopping Milestone XProtect Corporate Data Collector Server"
net stop "Milestone XProtect Data Collector Server" /Y

%SAFE%\safekit printi "Stopping Milestone Event Server Service"
net stop "MilestoneEventServerService" /Y

%SAFE%\safekit printi "Stopping Milestone Log Server Service"
net stop "Milestone XProtect Log Server" /Y

%SAFE%\safekit printi "Stopping Milestone XProtect Corporate Management Server"
net stop "Milestone XProtect Management Server" /Y

%SAFE%\safekit printi "Stopping SQL Server (MSSQLSERVER)"
net stop "MSSQLSERVER" /Y

"%SAFEBIN%\sleep" 10

net stop "W3SVC" /Y

rem Wait a little for the real stop of services
"%SAFEBIN%\sleep" 10

if %res% == 0 goto end

"%SAFE%\safekit" printe "stop_prim failed"
goto end

:check
call :checksrv "MSSQLSERVER"
goto end

:checksrv
  set SERVICE=%1
  net stop %SERVICE% /Y
  if NOT ERRORLEVEL 1 goto end
  sc query state= inactive | findstr %SERVICE%
  if NOT ERRORLEVEL 1 goto end
  "%SAFE%\safekit" stop -i "stop_prim: service not stopped"
  exit

:end