1. Étude de cas Gigabit Intel
CERN, centre européen
pour la recherche nucléaire
Le CERN, « accélérateur
d’innovation »
Le 10 Gigabit Ethernet d’Intel au service de la recherche en physique
des particules
En bref…
Structure CERN, centre européen pour la recherche nucléaire
Objectif final Aménagement d’un environnement capable d’accepter la transmission et
l’analyse de plusieurs pétaoctets de données issues de son collisionneur de
hadrons (LHC).
Objectif intermédiaire Parvenir à des débits cumulés de 10 Gbit/s sur réseau local, à l’aide de la tech-
nologie 10 Gigabit Ethernet d’Intel.
Résultats Une infrastructure pilote dégage de très hautes performances et une très forte
continuité de service. Il s’agit de résultats encourageants pour la mise en place
future de la grille de calcul globale du LHC.
Synthèse
Doté d’un acronyme hérité de l’ancien Conseil européen pour la recherche nucléaire, le CERN
a été fondé à Genève en 1954. Il s’agit du plus grand laboratoire mondial de recherche en physique
des particules. Il fédère ainsi quelque 6 500 scientifiques visiteurs, soit la moitié des spécialistes au
monde dans ce domaine, qui y étudient la structure de la matière et les origines de l’univers. Son
rôle est principalement de fournir à ces chercheurs les outils de leurs découvertes : accélérateurs
de particules qui propulsent celles-ci à des vitesses proches de celle de la lumière et détecteurs
qui les rendent visibles. Il emploie environ 3 000 personnes. Il se définit lui-même comme « un
accélérateur d’innovation ».
Le grand chantier actuel du CERN est la construction de ce qui sera le plus grand accélérateur de
particules au monde, un grand collisionneur de hadrons (Large Hadron Collider, LHC), qui devrait
être mis en service en 2007. Or le service informatique de cet organisme prévoit que les quatre
détecteurs géants, situés sur l’anneau de l’accélérateur et qui mesurent les collisions entre des
protons se déplaçant dans des directions opposées, généreront des volumes de données inouïs.
C’est parmi ces relevés que les physiciens espèrent trouver les traces de particules élémentaires
« exotiques », parmi lesquelles le boson de Higgs, dont certaines théories sur les origines de l’uni-
vers ont prédit qu’elles existaient, mais dont l’existence n’est pas encore scientifiquement prou-
vée.
Chaque année, ce seront ainsi jusqu’à 15 pétaoctets de données (15 x 1015) issues du LHC qui
déferleront sur sa grille de calcul reliant plusieurs centaines de centres informatiques d’universités
et de grands laboratoires de recherche dans le monde. Ces données seront collectées et achemi-
nées sur l’infrastructure LAN/WAN du CERN et c’est en prévision de cette énorme masse qu’en
collaboration étroite avec de grands intervenants du secteur informatique, a été mis en place en
2003 le CERN openlab. Le premier projet important de ce laboratoire a ainsi consisté en l’aména-
gement d’un environnement pilote, baptisé « CERN opencluster », à l’aide de la technologie réseau
10 Gigabit Ethernet, dont l’objectif était de confirmer la capacité de l’infrastructure à dégager les
performances voulues.
2. Processus : une évolution logique
Sverre Jarp estime que la décision de travailler avec Intel, parmi
d’autres partenaires, relève de la logique : « Nous travaillons
depuis longtemps avec Intel et nous sommes très satisfaits
des produits Intel auxquels nous faisons appel en ce moment. »
L’infrastructure informatique actuelle du CERN repose sur un
environnement lui-même articulé sur des serveurs dotés de
deux processeurs Intel® Xeon® et de cartes réseau Gigabit
Ethernet d’Intel aussi. Sverre Jarp s’en explique : « Bien que
ce type d’environnements ne se banalise qu’actuellement dans
le contexte des entreprises commerciales, nous exploitons le
nôtre depuis plusieurs années à notre plus grande satisfaction
et nous connaissons donc bien les technologies Ethernet de
pointe.
« Bien entendu, nous sommes en permanence à l’affût d’al-
Figure 1. Vue conceptuelle du grand collisionneur ternatives et de solutions nouvelles — après tout, il nous faut
de hadrons (LHC). un environnement capable de nous faire accomplir un immense
pas en avant —, mais l’une des qualités saillantes du
10 Gigabit Ethernet est qu’il relève d’une évolution logique par
Enjeu : atteindre des performances rapport à l’existant. Cette technologie représente un investis-
et une continuité de service sement stratégique, aussi bien pour nous que pour les orga-
de pointe nismes scientifiques du monde entier qui sont nos partenaires. »
Sverre Jarp, directeur informatique du CERN, dirige une L’infrastructure Ethernet du CERN est immense puisqu’elle
équipe d’ingénieurs chargée d’étudier des technologies inno- recouvre 25 000 prises et 10 000 équipements rien que pour
vantes, susceptibles de s’intégrer à l’architecture informatique l’organisme en lui-même, chacun de ses partenaires en pos-
du laboratoire. Depuis son arrivée au CERN en 1974, il peut sédant une d’importance similaire.
témoigner de l’évolution constante qui anime l’informatique et
la technologie, et cette équipe a d’ailleurs la réputation de Le LHC devrait rester en service pendant plus d’une décennie
« réceptif précoce ». Le projet opencluster vise en particulier et ses évolutions successives se traduiront par des volumes
l’essai de technologies de pointe dans le cadre difficile et très de données produites encore plus astronomiques. Étant donné
spécifique de la grille de calcul du LHC (LHC Computing Grid, ses projets de longue haleine, le CERN apprécie les partenaires
LCG), à laquelle participent quelque quatre-vingts partenaires industriels qui disposent de calendriers à long terme pour la
du CERN de par le monde. Sverre Jarp : « Si ce projet accu- sortie de leurs produits : « Nous savons que nous nous situons
mule les défis, il relève pourtant de notre activité normale. » à la limite des possibilités informatiques actuelles. Dans la mesure
La physique des hautes énergies est en effet depuis long- où nous faisons œuvre de défricheur, l’intention d’Intel de tirer
temps un domaine qui innove volontiers en termes de réseau- les débits Ethernet vers le haut nous intéresse au plus haut
tique et, incidemment, il n’est donc pas étonnant que ce soit point. De plus, nous apprécions l’adaptabilité de cet interve-
au CERN que soit né le Web. nant, qui consiste par exemple à nous fournir des versions
Open Source des pilotes des E/S, ce qui nous permet de maî-
« Nous travaillons avec des partenaires industriels, dont Intel, triser plus aisément notre environnement pilote. »
à la validation de technologies d’avant-garde », poursuit
Sverre Jarp. « Dans le cadre de notre projet en cours, nous
avons mis en place un environnement pilote pour simuler les
volumes de données sans précédent que devraient produire
les expériences menées sur le LHC et ainsi vérifier que l’infra-
structure sera à la hauteur du défi, de la collecte des données
jusqu’à leur stockage dans d’immenses “silos”. »
À cet égard, des performances optimales ne sont évidem-
ment pas la seule mesure de la réussite. L’expérience
implique en effet la collecte et la transmission granulaires et
continues de l’information, c’est-à-dire que l’infrastructure
informatique doit témoigner d’une très forte continuité de ser-
vice afin que rien n’échappe à l’analyse.
2
3. Solution : performances 10 Gigabit
L’objectif sous-jacent à ce projet pilote consiste à atteindre de
bout en bout des débits de l’ordre de 10 Gbit/s : « L’élément
le plus essentiel pour nous est l’agrégation de bande passante »,
souligne Sverre Jarp. « Ce n’est pas seulement les cartes
d’interface que nous testons ; nous devons aussi nous assu-
rer que le serveur et l’équipement de commutation seront
capables de supporter les débits 10 Gigabit visés. »
Au printemps 2003, le CERN a déployé des équipements de
plusieurs constructeurs pour atteindre les performances sans
précédent qu’il lui fallait. Son openlab est ainsi équipé de cent Figure 2. Schéma de la grille de calcul du LHC (qui relie plus
serveurs HP* rx2600 dotés chacun de deux processeurs de 80 centres informatiques dans le monde pour le traitement
des données issues du LHC).
Intel® Itanium® 2, la plupart de ces puces étant cadencées
à 1,5 GHz. Seize de ces ordinateurs disposent d’une carte
réseau PCI X 10 Gigabit Ethernet Intel PRO/10GbE SR. Perspectives : la course
à la vitesse
Dans le cadre de l’environnement de production qui sera mis
en place d’ici à 2007, les données collectées à partir du LHC Le LHC sera l’instrument le plus puissant jamais construit
seront acheminées vers les serveurs de traitement par l’inter- pour étudier les propriétés de la matière à un niveau subato-
médiaire de la dorsale LAN 10 Gigabit. Ces moteurs recons- mique. Pourtant, les scientifiques du CERN voient déjà au-
delà et envisagent des expériences encore plus poussées sur
truisent les données brutes et les contextualisent, avant de
les hautes énergies. C’est pourquoi la course à la vitesse
les diffuser hors du périmètre, auprès des centres dits
ne peut que s’y maintenir.
« de niveau 1 », qui, eux-mêmes, stockent des ensembles de
données complets issus des expériences menées. Plusieurs « C’est ensuite le 40 Gbit/s que nous visons », explique Sverre
de ces centres seront des instituts européens de physique Jarp. « Nous étudions donc déjà des processeurs ainsi que
des hautes énergies, dont le laboratoire Rutherford Appleton les technologies mémoire, LAN et WAN qui nous permettront
(RAL) pour la Grande-Bretagne et l’institut IN2P3 pour la d’y parvenir. Dans le cadre du CERN openlab, Intel est un par-
France ; pour le reste du monde, on peut citer le Fermilab tenaire essentiel, qui nous aidera à repousser en permanence
nos limites informatiques, non seulement pour ce qui est des
de Chicago.
cartes d’interface réseau, mais aussi pour les processeurs et
Sverre Jarp : « Jusqu’ici, nous sommes très satisfaits des per- jusqu’aux ordinateurs pris dans leur globalité. »
formances établies par notre environnement pilote. Même
avec un seul flux de données en provenance d’une applica-
tion unique, nous avons pu exploiter plus de la moitié de la
bande passante disponible des cartes d’interface, ce qui
représente un débit d’environ 5 Gbit/s sur le réseau. Il s’est
révélé rapide et simple de mettre en service les cartes réseau
Intel PRO/10GbE Server. Elles n’ont cessé d’afficher sans
faillir d’excellentes performances, ce qui nous a permis
d’atteindre nos objectifs d’agrégation. »
3
