Présentation le 30 juin aux journées préparatoires aux ENMI - Paris. Auteurs : Florian Melki, Vincent Minier, Yannick Prié

1. Ouvrir les boîtes noires de
la mission Herschel
Florian Melki, Vincent Minier, Yannick Prié
30 juin 2017

2. Les boîtes noires

3. Plan

4. Astrophysique spatiale

6. Plan

7. Herschel space observatory et ses instruments

8. Mission Herschel
1982 : conception
1993 : acceptation par ESA
2001 : contrats industriels et construction
2009 : lancement
2013 : fin de la mission en vol
2017 : archivages

9. xemple de collaborations internationales autour de Philippe André

10. Herschel : observations

11. Herschel : observations et calibrations

12. Herschel : programmes scientifiques
AOTVAL
SDP
KPGT
KPOT
GT1
DDT
OBS
TOO
OT1
GT2
OT2

13. Herschel : Segment sol
Définition Epistémé
Le segment sol est l’organisation humaine et matérielle localisée sur le sol dont
une partie est en relation avec le satellite en orbite et met en place puis exploite
l’instrument d’observation dans le satellite afin de planifier, programmer et
transmettre le planning des observations, et de réceptionner les données
mesurées par l’instrument, tandis qu’une autre partie indépendante traite les
données (notamment les étalonne), les analyse, les archive, et les transmet à la
communauté scientifique pertinente.
(au sens ESA – opération de l’observatoire et collecte des données)

14. Herschel : activité scientifique autour d’un PI

15. Herschel : 2 phases de traitement des données
HIPE Logiciels maison
Réduction Analyse

16. Herschel :
publications

17. Herschel : publication des sources

18. Herschel : publications dans le temps

19. Herschel : publications et observations

20. Une observation…

21. … deux images / deux publications

22. … obtenues au cours de 2 processus

23. Herschel Mission Explorer http://episteme.univ-nantes.fr/hme

24. Plan

25. HIPE (Herschel Interactive Processing Environment)
une suite logicielle pour la réduction de données

26. HIPE : une succession d’exécutions de traitements
Lancement d’un processus
automatisé via HIPE +
paramètres d’entrée
Level 0 Level 0.5
Level 1 Level 1
Level 2

27. HIPE : exemple de reprocessing complet
1. Création des produits de
stockage des données de
qualité générées durant le
processing
2. Création d’un contexte =
produit qui contient des
références vers d’autres
produits
3. Création des
produits de niveaux
0, 0.5, 1 et 2 dans le
rouge
4. Création des
produits de niveaux
0, 0.5, 1 et 2 dans le
bleu
3.3 Produits pour itérer sur les
Frames
3.1 Tous les signaux des
différents détecteurs (Frames)
3.2 Données sur la boîte de contrôle de
PACS (Detector and Mechanism
Controler)
3.4 Image finale
3.5 Référence vers
les produits créés
5. Création des produits
“housekeeping” = données
sur l’instrument
6. Création de contextes

28. http://archives.esac.esa.int/hsa/aio/jsp/metadata.jsp?RESOURCE_CLASS=PRODUCT_METADATA&hcss_
urn=urn:hsa:herschel.spire.ia.dataset.BuildingBlockProduct:339340&RETURN_TYPE=JSON
HIPE : récupération des données d’activité
http://archives.esac.esa.int/hsa/aio/jsp/metadata.jsp?RESOURCE_CLASS=PRODUCT
&OBSID=1342186277&RETURN_TYPE=json
P339340
1342186277
herschel.pacs.signal.Frames
01/06/2015 21:49:55
Photometry averaged blue product
SPG v13.0.0
SDP_pandre_3
PACS
P339546
P337484
...
Obs 1342186277
HAIO
Herschel
Archive
Inter
Operability Sub
(P339340,P339546,P337484,...)

29. HIPE : les données dont on dispose
Observation 1342186234 1342186234
Classe utilisée herschel.pacs.signal.Frames herschel.pacs.signal.SlicedFrames
Heure de lancement 01/06/2015 21:49:55 01/06/2015 21:51:24
Produit généré Photometry averaged blue
product
Photometry averaged
blue context
Version de Hipe SPG v13.0.0 SPG v13.0.0
Programme SDP_pandre_3 SDP_pandre_3
Instrument de mesure PACS PACS

30. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

31. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

32. Enchaînement des appels pour 1342186277 (HIPE 14.2.0 - PACS)
Résumés de process

33. Résumés de process
Appels inter-classes
Nombre d’appels d’une classe
herschel.spire.ia.dataset.BuildingBlockProduct
Total : 11288 appels
Moyenne : 109

34. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

35. Versions majeures de HIPE
HIPE : évolution du code
Suite des version du package

36. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

37. Comparer des résumés de process dans le temps
Augmentation du nombre d’observations traitéesMontée de version de HIPEApparition puis disparition d’un appel

38. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

39. Comparer des résumés de process

40. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

41. Visualiser process, version, événements de l’activité
scientifique (observations, publications, etc.)
Observations
Publications

42. HIPE : objectifs de recherche
Comprendre comment se passe la réduction
Étudier l’évolution du code
Étudier l’évolution des traitements
Étudier la différence de traitements entre programmes, PI, cibles, mots-clés de
recherche, etc.
Étudier les liens entre les traitement réalisés et l’activité scientifique
Étudier le couplage code et activité scientifique

43. Voir l’évolution du code en lien avec les événements
KPGT_pandre_1
stars: formation
ISM: clouds
ISM: structure
ISM: individual objects:
Aquila Rift complex
stars: formation
ISM: individual objects:
Aquila Rift complex

44. Bilan d’une ouverture de boîte noire
Début de conceptualisation
Beaucoup de manques dans les données
→ qui a lancé quoi ?
→ qui a fait les modifications du code, et sous quelle impulsion ?
Beaucoup (trop) d’hypothèses indirectes
→ il faut des informateurs
→ il faut compléter les données

45. Merci !