Le consortium DPAC (Data Processing & Analysis Consortium) a en charge le traitement de la télémétrie satellite pour constituer le catalogue. Le DPAC est scindé en 5 centres de traitements de données répartis à travers l'Europe. Chaque centre est responsable d'une ou plusieurs des 8 thématiques de traitement.
Au sein du DPAC, le CNES est le centre de traitement le plus important puisqu'il est responsable de 3 thématiques :
- le traitement des objets Non-Single Star (NSS), Solar System Objects (SSO) et Extended Object (EO)
- la génération des données spectrométriques,
- la classification des objets et calcul de leurs paramètres astronomiques.
Dans ce contexte, le CNES a initié le projet SAGA dont l'objectif est de fournir une structure d'accueil pour les 40 workflows de traitement des données d’astronomie. SAGA doit gérer automatiquement l'activation des workflows et la répartition des traitements sur une ferme de calcul qui a terme doit être constituée de plusieurs millier de coeurs.
Outre, le moteur de workflow, la principale difficulté du projet réside dans la mise en place d’un Datastore contenant 280 milliards de lignes et d’un volume de 3 PetaOctet qui est au-delà des limites technologiques des SGBD actuels.
L’ORGANISATION
La réalisation du Système SAGA (Matériel+Logiciel) a été confiée au forfait à THALES Services.
LES CHIFFRES
- Charge : ~4 410 H/j
- Date et durée : 40 mois (depuis fin 2008)