Précautions

• L’insertion crée automatiquement 1 nouvel inventory_group
  • regrouper dans le group_inventory correspondant à la main
• Certaines tables ne sont pas liées entre elles
  • global <-> geospatial
  • Sector_netcdf <-> inventory_sector
  • ECCAD_user <-> eccad_person
  • Unités <-> caseTotal
  • Masque recalculation : balayage des fichiers du répertoire pour trouver le time step -> chercher plutôt l’interval directement dans la base
• Manque l’unité dans la base de données (message d’erreur)
• Gestion du level (vérifier la présence des fichiers dans le répertoire level)
• Une seule catégorie par secteur
• Le paramètre doit être présent pour la catégorie (table parametre_category)
• Si il n’y a pas les mèmes secteurs en daily et en monthly, relancer l’insertion avec les 2 time step permet de mettre à jour la table sector_netcdf dans l’ordre daily, puis monthly (pour CAMS-GLOB-TEMPO).
• Masque
  • une seule variable qui s’appelle ‘regions’ (constante)
  • unité doit être ‘short’ ??
  • Masque lon de 0 ->360 (historique…)
  • Table netcdf le champ data_type_netcdf=1 pour les masques, 0 pour les autres
  • traduction des noms sinon _mask apparait dans la liste des régions
• Maj : Mise à jour avec les données de(s) dernière(s) année(s) : la concaténation ne peut se faire que si:
  • time = UNLIMITED
  • time du fichier à concaténer doit être supérieur au dernier time du fichier qui reçoit la concaténation
    • ^{from format version 1.4 the TIME dimension is fixed (for a more efficient compression)In format versions prior to 1.4, the TIME dimension was unlimited}

Bugs

• Le Provider n’est pas dans le fichier xml
  • relancer une 2ème fois l’insertion
• Champ de type varChar est trop court (message erreur SQL [n/a]; nested exception is org.hibernate.exception.DataException: could not execute statement)
  • agrandir la taille du champ dans la base de données
• Nouveau scenario : si un des scenarios existants n’est pas en ligne (is_online_scenario=false)
  • mise à jour plante, il faut faire les modifs à la main
• Format des fichiers
  • manque nom_standard des dimensions
  • unité time mal formatté
• Unités de la variable non présente dans la base de données
  • rajouter dans ECCAD_database.xml et ECCAD2.xsd
• Map Display
  • Mauvaise date est calculée (mauvaise unités « months since…)
  • Problème dans les noms des secteurs
  • Level :
    • existence du fichier level+ units=’level’4eme dimension
    • parfois les valeurs dans le fichier toutes nulles
    • si il y a une 4eme dimension on peut envoyer la commande thredds avec ELEVATION=0 si fait partie des valeurs
  • Problème dans le format des données
    • nom de variable contenant un point
    • nom des unités avec des blancs (CAMS-GLOB-BIO ex « degrees_north   « )
    • unités de temps (CAMS-GLOB-TEMPO ex « months since … »
    • ordre des dimensions TSTEP,time,lat,lon au lieu de time,TSTEP,lat,lon
    • _FillValue doit être un NaN
    • chunk_size du time est grand cela ralentit beaucoup l’affichage -> il doit être = 1
• Insertion Masque
  • sectorService.findByInventoryIdAndNameVariable (dans NetcdfManager et NetcdfUpdateControler chercher dans le code // TODO sectorService.findByInventoryIdAndNameVariable)
• Calculs des masques
  • vérifier que le masque a les bonnes caractéristiques (voir Précautions/masque ?? resolution)
• le id_interval ne se met pas à jour après une 2eme insertion (table inventory_category)

Lancer l’option « Nettoyer la base de données » lorsque l’insertion plante sans raison …

Champs à supprimer dans la base de données

• scenario text_comment_scenario | full_name_scenario
• inventory_category sector
• parametre text_comment_parametre | url_parametre
• organization fax_organization | phone_organization
• inventory update_inventory,is_monthly,id_constraints
• legend is_sector

Champs à mettre à jour à la main (non renseignés dans le xml ou différents)

• inventory
  • origin_files, readme_file (CAMS-GLOB-VOLC, CAMS-GLOB-SOIL)
  • institutes_inventory (liste comme sector_netcdf) instituts non reliés au provider (ex CAMS-GLOB-BIO)
  • le champ ‘format’ de la base de données correspond au champ ‘Version’ du fichier xml
• netcdf
  • data_type_netcdf : peut servir si on doit gérer des données autres que des fichiers Netcdf