Archivage des données de type fichier

//A compléter

Archivage des données des bases de données

Serveur SEDUR

MongoDB

Les collections du mongo sont sauvegardées tous les jours (crontab root) par la procédure /root/proc/local_backup_mongodb qui effectue les taches suivantes:

  • Création du dump via la commande mongodump dans le répertoire de travail /data2/backup_mongodb
  • Suppression des dumps ayant plus de 15 jours
  • Synchronisation du contenu du répertoire de travail avec le repertoire /mnt2/sedoo/sedoo/serveurs/sedur/DUMPS IRIS (et donc suppression des anciennes versions) via rsync et l’option –delete

Le déroulement correct de la sauvegarde est vérifié par l’application: //A compléter

Procédure de récupération des données

Cas 1: Données présentes sur IRIS

La connexion sur iris permet de voir les fichiers présents. Elle se fait à partir d’un serveur du sedoo via ssh: ssh sedoo@iris ou ssh sedoo@iris.odc.obs-mip.fr

Les données sont d’abord récupérées sur les machines SEDOO via un SCP:

Exemple: terminal sur twodoo avec user root

scp sedoo@Iris:/mnt2/sedoo/sedoo/serveurs/sedur/DUMPS/backup_mongodb/2020-07-17-1594949761/certifymyrepo/*.* /export1/testIris/certifymyrepo

Cas 2: Données présentes sur un serveur du SEDOO

Récupération sur un poste de développement pour test local:

scp wwwadm@twodoo:/export1/testIris/certifymyrepo/*.* /home/myUserName/data/testIris/certifymyrepo
wwwadm@twodoo's password: 

Copie d’une base ou collection de production dans le mongoDB local

Import des données dans le mongoDB local (cf. https://docs.cloudmanager.mongodb.com/tutorial/restore-single-database/#use-mongorestore-to-restore-the-single-database-or-collection):

mongorestore /home/myUserName/data/testIris --drop

Attention: une restauration en mode directory sans spécifier le paramètre –db doit avoir une arborescente de la forme suivante, <dump directory>/<database name>/<collection(s) and/or index(es) and/or metadata>

Ou import d’une collection en particulier:

mongorestore /home/myUserName/data/testIris/certifyMyRepo/comments.bson --drop

Dans Robo 3T, faire un refresh de la connection localhost pour vérifier l’import des données:

Remplacement d’une collection de production

Exemple du remplacement d’une collection sss à partir des données présentes sur le serveur du SEDOO:

mongorestore -u backupuser -p ***** /data2/backup_mongodb/2020-07-20-1595208961/sss/YearlyDownload.bson --drop

Pour le remplacement d’une base complète. Comme spécifié plus haut, une restauration en mode directory doit avoir une arborescente de la forme suivante, <dump directory>/<database name>/<collection(s) and/or index(es) and/or metadata>. Il est cependant possible de passer outre en ajoutant le paramètre –db baseName.

Pour restaurer une seule database en PROD depuis un répertoire backup d’un seveur du SEDOO, il faut:

  • soit spécifié le paramètre –db myDataBase et dans ce cas utiliser l’utilisateur mongo de cette base.
  • soit copier le répertoire de la database en question dans un répertoire vide. Dans ce cas, ne pas spécifier le paramètre –db myDataBase et utiliser l’utilisateur backupuser.