Enjeux: l'interprétation des flux réseaux du LAN

L'amélioration de la sécurité des systèmes d'informations est un enjeu capital, qui a des conséquences directes sur les taux de disponibilité des serveurs, les vols d'informations, les dysfonctionnements, ...

znets est une solution pertinente qui intègre de puissantes fonctionnalités de surveillance. Dotée d'une interface graphique interactive et intuitive, elle est facile à prendre en main.

Compatible avec toutes les infrastructures réseaux (Ipv4 ou Ipv6), znets est peu intrusif et simple à déployer. Les algorithmes sont testés, optimisés et pertinents. znets fonctionne quelque soit l'architecture réseau.

znets est développé au sein des laboratoires du CNRS/IN2P3, qui disposent de réseaux informatiques très performants (liens >> 10Gbs) et hétérogènes.
Plus d'une centaine d'établissements utilisent déjà znets (CNRS, ENS, Université, IUT, ...)

Traçabilité des flux réseaux 
La technologie est basée sur la collecte, l'agrégation et l’analyse des flux réseau. Ces flux sont l’intégralité des traces laissées lors des connexions et tentatives de connexions. Ils sont incontestables.

Outils pour l’analyse & Fonctionnalités de métrologie avancée
60 graphiques de métrologie sont disponibles. Ils sont plus complets et d'avantage orienté sécurité que ceux des logiciels concurrents de supervision. znets permet en effet l’accès à plusieurs niveaux de détails (grâce à la mise en corrélation des données statistiques avec les flux réseaux bruts enregistrés). L'étude permet donc une compréhension complète des flux échangés.

Détection des anomalies et levées d’alertes
Znets est un IDS (Intrusion Detection System) avec des mécanismes de mise à jour automatique. De plus, la facile mise en corrélation d’une alerte avec les données stockées apporte des informations cruciales, sans équivalent, sur l’incident. Les statistiques horaires et journalières permettent l’identification immédiate d’un trafic inhabituel. znets permet un traitement rapide et automatisé de l’incident.

 


 

Historique:

2002 

Développement et déploiement de "EXTRA"
 
2010         

Etablissement du cahier des charges IN2P3 de "znets"

Début des développement

 
2011

znets V1

septembre: Présentation OSSIR Paris

octobre: Présentation JRES Toulouse

 
2102 Déploiement de znets dans les 21 labos IN2P3
 
2013 znets V1.29
 
2014

Obtention d'une licence Cecill B

Début du développement de znets V2 (version majeure avec 70% de code nouveau)

 
2015

 Librairie web Navajo devient autonome LGPL V3

Avril: conférence ARAMIS Lyon

Mai/Juin: Version 2

 


 

Evolutions:

znets V2 a été réécrit à plus de 70%. Il apporte de nombreuses améliorations pour la supervision des machines et des réseaux de l'entreprise.

Performance
znets est encore plus performant et fonctionne désormais sur des liens haut débit (jusqu'à 5Gbs en acquisition directe, et plusieurs disaine de Gbs en mode collecte de flux). Les insertions sont dorénavant asynchrones, et la base de données est partitionnée.

Traçabilité des flux réseaux
Les flux sont maintenant consultables en temps réel (sans aucune latence ni délai). Ils sont agrégés pendant 1 heure ce qui permet de réduire encore considérablement leur nombre sans engendrer de perte d'information (en moyenne 1 flux enregistré pour 800paquets).
znets stocke maintenant ces traces avec un niveau de détail inégalé. L'utilisation des librairies de geolocalisation et de détection applicative permet de caractériser parfaitement tous les flux, même cryptés: géolocalisation, analyse L7 (identification fiable de presque 200 applications: TOR/Bittorent/Skype/VPNs/... même sur des ports non standarts), stockage de données applicatives (URL, requêtes DNS,...). Le stockage a été optimisé (grâce à des mécanismes asynchrones, partitionnements), afin que les données restent consultables plusieurs mois, quelque soit le réseau.znets apprend le comportement normal des machines supervisées et détecte de manière très fiable, toutes les anomalies (APT, scan, malware, virus, le non respect des chartes informatiques, téléchargements illicites ...)

Outils pour l’analyse & Fonctionnalités de métrologie avancée
La nouvelle version permet dorénavant la visulation de la métrologie en temps réel

Inventaire en temps réel des équipements communicants
znets offre dorénavant un inventaire complet en temps réel de toutes les machines du réseau, avec enregistrement des périodes d'activité, détection du système d’exploitation...

Détection des anomalies en Temps Réel et levées d’alertes
Tous les algorithmes de détection ont été réécrit. Les alertes sont désormais levées en temps réel (minimum toutes les 2 minutes). De nombreuses alertes ont été ajouté.
La possibilité d'appliquer à certains réseaux des seuils auto-adaptatifs permet d'avoir des alertes encore plus pertinentes et adaptées aux machines et services déployés.

 


 

RoadMap v2:

Technical Specifications planning :  Jan 2014 - validation des choix et évolutions
Début des développements
Jan 2015: Librairie web externe libnavajo - construction des packages
Mars 2015: version alpha 1
Avril 2015: version alpha 2
  Mai 2015: version bêta
  Juin 2015: preVersion 1


 

Equipe projet

  • Thierry Descombes (thierry.descombes at lpsc.in2p3.fr) - Chef de projet
  • Ismaël Zakari Touré (ismael.zakari.toure at gmail.com) - Ergonomie et expert web

 

 Le projet utilise le service d'hébergement mutualisé git du CCIN2P3


 

Licence et limite d'utilisation

znets est disponible pour l'ensemble des établissements publics d'enseignement et de recherche sans limitation d'usage.

Plus d'informations, captures d'écran, mailing list, news : www.znets.net ou en nous contactant à Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.

Télécharger le dossier complet en cliquant ici

Pour subvenir aux besoins de climatisation de ses salles informatiques le LPSC a mis en place un système original de refroidissement ayant les caractéristiques suivantes:

  • Fonctionnement en free-cooling (85% du temps)
  • Les flux d’air en face avant des machines sont séparés des flux en face arrière (principe du couloir froid)
  • Refroidissement par simple échangeur air/eau utilisant l’eau industrielle (15% du temps)

Ce système permet, outre une économie substantielle des consommations électriques, une moindre dépendance à la disponibilité de l’eau industrielle.

Schéma de principe

image002

 

La figure ci-dessus montre une vue de dessus de nos deux pièces informatiques.

La pièce de droite contient les baies informatiques qui aspirent l’air en face avant (en bas sur le schéma) et le rejettent en face arrière (en haut sur le schéma). Noter que la face avant est séparée de la face arrière par une cloison pour éviter un recyclage intempestif. La pièce de gauche contient l’échangeur et le système de ventilation et de filtrage.

L’air est aspiré à l’extérieur du bâtiment par la vanne d’arrivée d’air et soufflé à l’extérieur par la vanne de sortie d’air.


Régimes de fonctionnement

Le schéma ci-dessous montre les différents régimes de fonctionnement de notre système avec une température de consigne imposée en face avant.

image005

Filtration et hygrométrie

Sur les conseils de notre installateur nous avons choisi des filtres G4 qui sont d'un coût modique.

L’hygrométrie de la salle informatique n’est pas contrôlée. En face avant des machines l’air peut donc être fortement chargé en humidité. Une récupération des condensats est faite sur l’échangeur. Etant donné que les machines chauffent il n’y a pas de risque de condensation dans celles-ci.

Ces choix sont possibles aujourd’hui car

  • Les serveurs supportent un environnement non parfaitement propre et une hygrométrie variable.
  • Nous n’avons plus de bande magnétique en salle informatique grâce à la mise en place en 2006 de la sauvegarde déportée au Centre de Calcul de l’IN2P3 via le réseau RENATER.

 

Conclusion

Economie d’énergie

Le premier intérêt de cette solution est l’économie d’énergie.

En effet la puissance électrique de ventilation nécessaire que nous avons mesuré correspond à environ 2 à 3 % de la puissance installée au lieu de 33% de la puissance installée (COP de 3 pour une pompe à chaleur).

En mode free cooling - 85% du temps à Grenoble - on économise plus de 90% de la puissance de refroidissement !

Notre installation est prévue pour une puissance de 100kW (nous avons 8 baies informatique 42U).

A puissance nominale l’économie est de 300 000 kWh/an ce qui fait que la totalité des investissements sur l'infrastructure a été remboursée sur les économies de fonctionnement en moins de 5 ans!

Indépendance par rapport aux incidents liés à la climatisation

Le deuxième avantage de cette solution est d’être moins dépendant de la climatisation. En effet usuellement une panne de climatisation entraîne un arrêt de l’informatique.

Dans notre cas ce type de problème n’a d’impact que si la température extérieure est supérieure à 30° soit moins de 5% du temps Download the complete reference here.

Réduction de 95% des incidents informatiques dus à la climatisation !

Le groupe de développement du LPSC participe à l'élaboration de logiciels:

Développements pour ATLAS

Le service informatique a la responsabilité de deux applications qui ont un rôle de premier plan pour la collaboration (voir page Software - groupe ATLAS) :

  • AMI (ATLAS Metadata Interface) est utilisé pour fournir un accès générique au métadonnées de l’expérience.
    AMI est une application de catalogue générique pour l’accès à des bases de données. Des catalogues de structures différentes peuvent être interrogés simultanément, en exploitant une auto description de chaque structure, couplée à des requêtes multi-threaded.AMI a été choisi comme le catalogue de sélection de datasets officiel d’ATLAS en 2006
  • Tag Collector est utilisé pour le management du code de la collaboration ; il est développé dans le cadre du groupe ATLAS Software Infrastructure. Tag Collector renforce les règles d'appartenance à un "release" de code et vérifie que les dépendances sont respectées (voir le graphique de dépendance).

Faits marquants des trois dernières années

  • Recrutement de Jérôme Odier, Ingénieur de Recherche en CDD pour trois ans sur le projet AMI en septembre 2013.
  • Depuis la restriction d'accès aux données AMI/ATLAS aux seuls utilisateurs ATLAS, authentification + autorisation AMI + VOMS, mise en production en octobre 2011, nous avons observé une croissance régulière de nombre d'utilisateurs observée. Actuellement il y a environ 2000 utilisateurs validés.
  • Implémentation du " Hierarchical Dataset Browser ". Une recherche de données ou le choix se fait progressivement par sélection des valeurs des paramètres disponibles. A tout moment le nombre de datasets, fichiers et évènements dans la sélection est mise à jour.
  • Refonte de l'interface web d'AMI « Dataset Discovery » - transfert du site sous JOOMLA et utilisation de framework modernes pour les interfaces, "JQuery" pour le javascript et "Bootstrap" pour les css. Utilisation de technologieS Web 2.0 (AJAX,HTML5). Rationalisation des fonctions. Réécriture de la documentation.
  • Refonte de pyAMI - passage à pyAMI version4 : amélioration de l'interface utilisateur, déploiement et documentation avec outils standard de python (avec collaboration de Noel Dawe , Simon Fraser University, Vancouver B.C. Canada et Asoka Da Silva, TRIUMF, Vancouver B.C. Canada)
  • Amélioration du monitoring d'AMI (avec collaboration Haykuhi Musheghyan, Univ. De Göttingen, Allemagne)
  • Modification du code de remplissage des bases de données AMI suite à l'introduction d'un nouveau système de production dans la collaboration ATLAS pendant le " Long Shutdown 1 "
  • Amélioration de l'environnement de travail par la mise en œuvre d'une suite d'outils cohérents et connexe. SVN, Eclipse, RedMine, Jenkins (ref. exposé de F. Lambert, Journées Informatiques IN2P3 2012 https://indico.in2p3.fr/conferenceOtherViews.py?confId=6514&view=cdsagenda#16)
  • 2 nouveaux serveurs achetés fin 2012 afin de supporter l'augmentation de charge.

PLANCK

Le satellite Planck a été lancé en mai 2009 et la mission s'est terminée en octobre 2013. Le LPSC a été impliqué dans l'étude et la réalisation de l'électronique et de l'informatique nécessaires au pilotage de la machine cryogénique à 20K, nommée sorption cooler, développée par la NASA au Jet Propulsion Laboratory, de Planck.
Le service informatique a été impliqué dans l'analyse RTA (Real Time Analysis) du sorption cooler, qui consiste en la maintenance et évolution de la MIB (Mission Information Base), base de données qui décrit les télémétries et télécommandes échangées entre l'électronique du sorption cooler et la station terrestre.
Les tests de cette MIB ont d'abord été effectués au LPSC, grâce à l'installation d'un EGSE Electrical Ground System Equipment : SCOS2000 et d'une chaîne d'intégration. De nombreux autres tests ont également été effectués à ALCATEL SPACE Cannes, à l'ESOC et au CSL Liège. Le service, présent lors de ces tests, a eu un rôle très important d'interface avec ces différents interlocuteurs.
Le service informatique a eu en charge le développement de l’informatique embarquée dans le satellite devant piloter le Sorption Cooler et communiquer avec le sol par le réception de télécommandes et l’émission de télémétries. Cette informatique a été testée plusieurs fois sur site au Jet Propulsion Laboratory, à Alcatel Space et à l’ESA. Le service informatique a assuré le support et la maintenance de cette application durant toute la durée de la mission.

Le service informatique contribue au développement de l’analyse de niveau 2 (L2), parallélisation MPI de modules.

MIMAC / COMIMAC / MIMAC-FastN

Le service informatique est impliqué dans le développement du système d'acquisition (32 cartes détecteur), de contrôle commande et d'un event display pour l'expérience MIMAC-1m3. Il s'agit d'une collaboration internationale regroupant le LPSC, le CPPM, l'IRFU(Saclay), l'IRSN (Cadarache) et l'Université Tsinghua (Chine).

MIMAC est une micro-TPC de haute résolution spatiale (350 um). La phase de validation sur la bi-chambre fonctionnant à Modane a été faite fin mai 2016.

Le système d'acquisition doit assurer la lecture de 1960 voies par détecteur (32) à une fréquence de échantillonnage de 50 MHz.

Les données sont acquises, triées et filtrées en continu. Le système va fonctionner sans interruption pendant plusieurs années. 

Le taux de données moyen devrait atteindre 1Go par heure environ. Ces données sont stoquées au CCIN2P3 dans une base de données partitionnée d'un cluster PostgreSQL. Le logiciel bénéficie d'une interface web performante, basée sur libnavajo et l'utilisation de websockets ( http://lsmmimac.in2p3.fr )

Le projet de valorisation MIMAC-FastN est un détecteur de neutrons rapides directionnel qui permet de mesurer l'énergie de neutrons avec une grande efficacité. C'est une adaptation du système d'acquisition de MIMAC à une seule chambre mais avec un algorithme permettant la localisation de sources de neutrons.

AUGER

Le service informatique est impliqué dans le développement de l’interface graphique de l’acquisition de données d’AERA (Auger Engineering Radio Array).

CODALEMA

Le service informatique a mis en place un système de pilotage à distance et de réplication des données du système d’acquisition implanté sur le site de Nancay pour l’expérience CODALEMA (Détection des Rayons Cosmiques par Ondes Radio).
Le service à aussi en charge le développement d’une informatique embarquée du tiroir de multiplicité réalisée par le service électronique du laboratoire, ainsi que du logiciel de contrôle de la carte et d'acquisition des données.

nEDM

nEDM : Expérience en développement à l'ILL de mesure du spin du neutron. Le service informatique a eu en charge le développement d'un driver de la carte de contrôle commande développée au laboratoire ainsi que du logiciel Windows/Linux de contrôle/commande et d'acquisition de données. Ce système est opérationnel.

Genepi3

Troisième génération d’un accélérateur pour l’étude d’un réacteur nucléaire expérimental entraîné par un flux de neutron. Le développent de la partie accélérateur de l'expérience est pris en charge par divers services du LPSC. Le choix d'une architecture hardware adaptée aux contraintes (isolation très haute tension, fort bruit électromagnétique, fiabilité élevée...) ainsi que le développement d'un système Linux embarqué adapté aux nouvelles contraintes de mesure ont commencé courant 2007 au service informatique.

CRDB

Développement d'un catalogue en ligne de mesures expérimentales de rayonnements cosmiques.

NIKA

Réécriture complète du logiciel d'acquisition de données de l'expérience NIKA.

LIBNAVAJO

Libnavajo est l'équivalent C++ de l'API Servlet Java, et de ses conteneurs de servlets. Plus simple, et plus rapide, elle rend possible l’intégration d’interfaces Web puissantes et interactives aux développements en C++, sans avoir recours à un autre langage ni middleware supplémentaire. Libnavajo intègre un serveur web multithreadé, très performant et complet, qui supporte les connexions persistantes, la compression, le SSL, l’authentification http et X509, l’IPv4 et IPv6, les websockets, les cookies, les objets de session, le multipart content, etc etc... Elle intègre aussi les mécanismes pour ajouter des repository web (externes ou compilés dans le code), pour générer dynamiquement du contenu, et pour gérer les connexions websocket.sources sont disponibles dans un dépôt public sur la plateforme de développement coopératif github (https://github.com/titi38/libnavajo.git)

ZNETS

ZNETS permet de satisfaire aux enjeux légaux tout en améliorant le niveau en sécurité informatique des laboratoires.

L’outil interprète à la volée l’ensemble des communications et tentatives de communication du réseau, il génère et stocke des traces, détecte des anomalies, et permet une étude de la métrologie appliquée à la sécurité informatique...

ZNETS s'adapte à toutes les architectures réseau IPv4 et IPv6. C’est un collecteur de netflow/Ipfix, capable d'acquérir également ses données directement depuis une interface physique.

Les 21 laboratoires de l'IN2P3 disposent tous de ZNETS depuis février 2012.

Parallèlement, une centaine d’autres laboratoires ou établissements du monde Education-Recherche ont également adopté ZNETS (disponible sous la forme de package standard pour les distributions linux redhat et debian)

 

 

Le groupe a développé également des outils

  • pour la surveillance de l'activité réseau avec le projet Extra.
  • pour l'administration (bases de données), gestion locale d'un parc de machines, avec mise à jour automatique des caractéristiques réseau
  • PHPMyResa fait partie des logiciels retenus par le projet PLUME (dont le but est de Promouvoir les Logiciels Utiles, Maitrisés et Économiques pour la communauté de l’Enseignement Supérieur et de la Recherche, URL : http://www.projet-plume.org/).

Le LPSC s'est doté au début de l'année 2008 d'un noeud de grille nommé IN2P3-LPSC pour répondre en particulier aux besoins de calcul des groupes LHC (ATLAS et ALICE) du laboratoire. Créé au sein de la grille de calcul européenne EGEE (European Grid for EsciencEs), il fait partie de la grille de calcul LHC LCG (LHC Computing Grid) mais est ouvert à d'autres utilisateurs.

Il s'agit d'un noeud de grille de niveau 2 de type "Tier2" dans la nomenclature du CERN.
Pour une brève introduction à la grille de calcul du LHC voir la page d'introduction du LPSC.

IN2P3-LPSC acceuille plusieurs Organisations Virtuelles ou VO :

  • "atlas" pour les membres de la collaboration ATLAS
  • "alice" pour les membres de la collaboration ALICE
  • vo.rhone-alpes.idgrilles.fr pour les utilisateurs de la grille Rhône Alpes
  • vo.lpsc.in2p3.fr pour les utilisateurs du LPSC
  • calice pour les membres de l'expérence ILC
  • biomed pour le bio-médical
  • eumed pour la recherche dans le bassin méditérranéen
  • superb pour les membres de la collaboration Superb

Les VO ops et dteam pour la gestion technique de la grille et la vo.formation.idgrilles.fr pour la formations des utilisateurs de la grille sont également supportées.

Collaborations :

Utilisation

accountinfg 2008 2020

Description

Services de grille

Le LPSC a mise en place les services de grille nécessaires au bon fonctionnement de la grille :

  • BDII (Information Service)
  • CE (LCG Computing Element)
  • CREAM CE
  • UI (User Interface)
  • VOBOX (Virtual Organisation Service)
  • DPM (Disk Pool Manager) et DPM-XROOTD
  • PERFSONAR

Les configurations sont déployées avec QUATTOR.

Ces services s'appuient sur 5 serveurs (1 Serveur DELL 1950 , 3 Serveurs DELL 1850 , 1 serveur IBM x3455) dotés d'alimentations redondantes.

 

Noeuds de calcul (Working Nodes) 2096 coeurs, 23188 HEP-SPEC 06

6 Serveurs DELL PE 1950 Bi-pro - Quadri-coeur Intel Xeon E5420, 16 Go RAM
7 Serveurs DELL M610 Bi-pro - Quadri-coeur Intel Xeon E5520, 24 Go RAM
5 Serveurs DELL PE C8220 Bi-pro - Quadri-coeur Intel Xeon E5-2670, 64 Go RAM
4 Serveurs DELL PE C8220 Bi-pro - Quadri-coeur Intel Xeon E5-2670, 128 Go RAM
15 Serveurs DELL PE C6220 Bi-pro - 10 Core  Intel Xeon E5-2680v2, 128 Go RAM
12 Serveurs DELL PE C6320 Bi-pro - 10 Core  Intel Xeon E5-2680,148 Go RAM
12 Serveurs DELL PE C6420 Bi-pro - 10 Core  Intel Xeon Silver 4114, 128 Go RAM
4 Serveurs DELL PE C6420 Bi-pro - 12 Core  Intel Xeon Silver 4114, 128 Go RAM.

 

evolution de la puissance calcul

 

Stockage 1478 To brut

3 PowerEdge R720xd 156 To brut
7 PowerEdge R730xd 622 To brut
4 PowerEdge R740xd

676 To brut

 

evolution du stockage

Personnes impliquées

Formations

 

  • Formation Manager une équipe, cycle responsable d'équipe / chef de service, Module 2, les 12 et 13 mai 2016
  • Formation Encadrants et Risques psychosociaux (RPS) : comprendre, prévenir et agir, le 1er décembre 2015
  • Formation Manager une équipe, cycle responsable d'équipe / chef de service, Module 1, les 9 et 10 septembre 2015
  • Formation Développement et Architecture d'Applications, au LAPP, les 4 et 5 avril 2013
  • Ecole de calcul hybride, du 7 au 12 octobre 2012
  • Formation de formateur occasionnel au CNRS, les 10/17 novembre et 1e décembre 2011
  • Formation 'Secourisme du travail', novembre 2010
  • Formation 'Interface homme-machine pour le web', les 3 et 4 mai 2010
  • Formation 'AJAX', les 11 et 12 juin 2009
  • Formation 'Formation PHP Expert', du 25 au 29 mai 2009
  • Formation 'Développer une application web', du 13 au 17 octobre 2008
  • Formation à KST, à l'IAS, le 24 mai 2007
  • Formation en anglais courant - de janvier 2007 à juin 2007
  • Formation 'Introduction au calcul parallèle et optimisation de code' - du 17 au 21 octobre 2005
  • Formation 'Animer et piloter un projet de recherche, un projet technique ou technologique' - sur avril et mai 2005
  • Formation en anglais courant - de janvier 2005 à mai 2005
  • Formation à MS Project - les 1 et 2 juin 2004, à Grenoble
  • Formation 'Programmer en C++' - les 25, 26, 31 mars et 1er, 2 avril 2004 au CUEFA à Grenoble. Le programme complet est disponible ici.
  • Formation en anglais courant - de janvier 2004 à mai 2004
  • Formation aux 'web services' - octobre 2003
    Il s'agissait d'une école informatique IN2P3 d'une semaine, à La Londe les Maures (Var).
  • CERN SCHOOL OF COMPUTING 2003 - août/septembre 2003
    Cette école d'été du CERN, de deux semaines, a eu lieu à Krems an der Donau, en Autriche. Le programme complet est disponible ici.
  • Formation à l'utilisation de grille de calcul, à l'INFN de Turin - décembre 2002
    Cette formation de deux jours (5 et 6 décembre 2002) est documentée à l'URL suivante : http://www.grid-tutorial.to.infn.it/

 

Publications