Soumissions de jobs

Généralités

Soumission en ligne de commande

Plusieurs système de gestions de jobs (Workload Management System, WMS) coexistent actuellement, chacun ayant un jeu de commandes différent mais avec des syntaxes et des fonctionnalités similaires.

• LCG-2 WMS est encore fréquemment utilisé mais il ne permet l'accès qu'à des nœuds de grille de type LCG.
• gLite WMS via NS n'est plus supporté dans le middleware glite. Il a été remplacé par glite-wms.
• gLite WMS via WMProxy permet de faire de la soumission "bulk" de jobs. Ce système offre de meilleures performances dans le traitement des jobs.

Fonction	LCG-2 WMS	gLite WMS via NS	gLite WMS via WMProxy
Soumettre un job	edg-job-submit [-o joblist] jdlfile	glite-job-submit [-o joblist] jdlfile	glite-wms-job-submit [-o joblist] jdlfile
Statut d'un job	edg-job-status [-i joblist] jobIDs	glite-job-status [-i joblist] jobIDs	glite-wms-job-status [-i joblist] jobIDs
Logging Information d'un job	edg-job-get-logging-info [-i joblist] jobIDs	glite-job-logging-info [-i joblist] jobIDs	glite-wms-job-logging-info [-i joblist] jobIDs
Récupérer la sortie d'un job	edg-job-get-output [-dir outdir] [-i joblist] jobIDs	glite-job-output [-dir outdir] [-i joblist] jobIDs	glite-wms-job-output [-dir outdir] [-i joblist] jobIDs
Annuler un job	edg-job-cancel [-i joblist] jobID	edg-job-cancel [-i joblist] jobID	glite-wms-job-cancel [-i joblist] jobID
Lister les ressources disponibles	edg-job-list-match jdlfile	glite-job-list-match jdlfile	glite-wms-job-list-match jdlfile
Délégation de proxy	glite-wms-job-delegate-proxy -d delegID

Touts les WMS ont en commun de décrire le job au moyen d'un fichier JDL (Job Description Langage)

• ​JDL Attributes pour glite via WMProxy
• ​JDL Attributes pour LCG-2

Avec des softwares dédiés

Chaque expérience LHC possède des outils dédiés pour soumettre des jobs (voir ci dessous pour votre VO).
Cependant d'autres outils génériques existent, dont un développé au sein de l'IN2P3.

• JJS pour tout type de jobs.

Tutoriels

• Soumissions de jobs simples
  • -> Soumission de job avec glite-wms
  • -> Soumission de job avec LCG-2
• Utilisation de logiciels de soumission
  • -> Utilisation de JJS (Java Job Submission)
• Techniques avancées de soumission de jobs
  • -> Soumission de job utilisant des programmes C
  • -> Soumission de job en utilisant MPI
  • -> Soumission de job en interactif
  • -> Soumission de collections de jobs

ALICE VO

Soumission en ligne de commande

L'expérience ALICE utilise un environnement shell dédié nommé aliensh d'où vous pouvez soumettre vos jobs.
Le job à soumettre est décrit par un fichier jdl.

Tutoriels

• -> Configuration de l'environnement ALICE au LPSC
• -> Soumission d'un job ALICE au LPSC

ATLAS VO

Avec des softwares dédiés

En ce qui concerne ATLAS, la soumission de jobs doit se faire avec les outils "officiels" que sont GANGA et pathena

• GANGA pour ATLAS et LHCb
• pAthena pour ATLAS

Tutoriels

• Utilisation de logiciels de soumission et d'analyse
  • -> Utilisation d'athena au LPSC
  • -> Utilisation de pathena
  • -> Utilisation de GANGA
• Techniques avancées de soumission de jobs
  • -> Soumission d'un job d'analyse avec pathena
  • -> Soumission d'un job d'analyse athena/DQ2 avec GANGA
  • -> Soumission d'un job d'analyse avec prun

previous