Analyse d'un job perroquet au LPSC

Ce tutoriel décrit comment forcer un job à tourner à un endroit donné. Il décrit également comment trouver les ressources où le job est susceptible de s'exécuter.

Pour lancer un job, vous avez besoin de deux fichiers

• Le fichier JDL (Job Description Langage) Le fichier job.jdl est le fichier qui décrit votre job. Dans ce fichier vous trouverez une ligne de commentaire (#...) qui décrit chaque nouvelle instruction du fichier JDL.
• L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN)

• Le match making
  edg-job-list-match vous permet d'obtenir une liste de CE sur lesquels votre job peut tourner au regard des Requirements de votre fichier JDL.
  Ces CE sont classés selon une note attribuée en fonction de ce que vous avez défini dans l'element Rank de votre fichier JDL.

  [lambert@lpsc-ui edg3]$ edg-job-list-match --rank job.jdl
  
  Selected Virtual Organisation name (from JDL): atlas
  Connecting to host node04.datagrid.cea.fr, port 7772
  
  ***************************************************************************
                           COMPUTING ELEMENT IDs LIST 
   The following CE(s) matching your job requirements have been found:
  
                     *CEId*                             *Rank*
  
   cclcgceli06.in2p3.fr:2119/jobmanager-bqs-medium        1882
   cclcgceli05.in2p3.fr:2119/jobmanager-bqs-long          1800
   cclcgceli02.in2p3.fr:2119/jobmanager-bqs-medium        1798
   cclcgceli01.in2p3.fr:2119/jobmanager-bqs-medium        1796
   cclcgceli01.in2p3.fr:2119/jobmanager-bqs-long          1775
   grid10.lal.in2p3.fr:2119/jobmanager-pbs-atlas          1051
   grid10.lal.in2p3.fr:2119/jobmanager-pbs-atlasana       1051
   cclcgceli05.in2p3.fr:2119/jobmanager-bqs-short         254
   cclcgceli06.in2p3.fr:2119/jobmanager-bqs-short         254
   cclcgceli01.in2p3.fr:2119/jobmanager-bqs-short         247
   cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short         247
   lpsc-ce.in2p3.fr:2119/jobmanager-pbs-atlas             17
   polgrid1.in2p3.fr:2119/jobmanager-pbs-atlas            0
   ipnls2001.in2p3.fr:2119/jobmanager-pbs-atlasana        -1
   clrlcgce01.in2p3.fr:2119/jobmanager-lcgpbs-atlas       -2
   marce01.in2p3.fr:2119/jobmanager-pbs-atlas             -2
   ipnls2001.in2p3.fr:2119/jobmanager-pbs-atlas           -3
   cclcgceli02.in2p3.fr:2119/jobmanager-bqs-atlas_verylong-17
   cclcgceli05.in2p3.fr:2119/jobmanager-bqs-medium        -20
   lapp-ce01.in2p3.fr:2119/jobmanager-pbs-atlas           -23
   lpnce.in2p3.fr:2119/jobmanager-pbs-atlas               -62
   cclcgceli02.in2p3.fr:2119/jobmanager-bqs-long          -64
   clrlcgce02.in2p3.fr:2119/jobmanager-lcgpbs-atlas       -91
   clrlcgce03.in2p3.fr:2119/jobmanager-lcgpbs-atlas       -92
   cclcgceli06.in2p3.fr:2119/jobmanager-bqs-long          -202
  ***************************************************************************
  

• Soumission du job sur un CE spécifique
  Vous pouvez soumettre un job sur un CE donné en utilisant l'option -r de edg-job-submit

  [lambert@lpsc-ui edg3]$ edg-job-submit -r lpsc-ce.in2p3.fr:2119/jobmanager-pbs-atlas job.jdl
  
  Selected Virtual Organisation name (from JDL): atlas
  Connecting to host node04.datagrid.cea.fr, port 7772
  Logging to host node04.datagrid.cea.fr, port 9002
  
  
  *********************************************************************************************
                                 JOB SUBMIT OUTCOME
   The job has been successfully submitted to the Network Server.
   Use edg-job-status command to check job current status. Your job identifier (edg_jobId) is:
  
   - https://node04.datagrid.cea.fr:9000/3B3xpcR7tgKuVEm9V_UKWA
  
  
  *********************************************************************************************
  

-->Exercice : Lisez le fichier JDL, modifiez le pour faire tourner le job sur le CE du LPSC sans utiliser l'option -r.

• Récupération du statut
  Le job s'est bien éxecuté sur le CE du LPSC

  [lambert@lpsc-ui edg3]$ edg-job-status https://node04.datagrid.cea.fr:9000/3B3xpcR7tgKuVEm9V_UKWA
  
  
  *************************************************************
  BOOKKEEPING INFORMATION:
  
  Status info for the Job : https://node04.datagrid.cea.fr:9000/3B3xpcR7tgKuVEm9V_UKWA
  Current Status:     Done (Success)
  Exit code:          0
  Status Reason:      Job terminated successfully
  Destination:        lpsc-ce.in2p3.fr:2119/jobmanager-pbs-atlas
  reached on:         Thu Jun  5 12:32:48 2008
  *************************************************************
  

-->Exercice : Récupérez une liste de CE pour votre VO avec lcg-info-sites puis faites le s'exécuter sur un autre CE de votre choix.
-->Exercice : Soumettez ce job sur la grille, vérifier qu'il à tourné sur le CE choisi et récupérez le résultat.

up ; previous ; next