Soumission d'une collection de jobs

Ce tutoriel décrit comment soumettre une collection de jobs, chacun étant décrit par un fichier jdl.

Pour lancer la collection de jobs, vous avez besoin de plusieurs fichiers

• Les fichier JDL (Job Description Langage) Les fichiers job1.jdl,job2.jdl,job3.jdl sont les fichiers décrivant chacun de vos jobs. Ces fichiers sont à placer sous un répertoire 'jdl'.
• L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN) . Dans notre cas il est commun aux trois jobs de la collection.

• Soumission de la collection
  
  L'argument --collection est à utiliser pour indiquer l'endroit où se trouvent les JDL.

  [lambert@lpsc-ui gliteWMS-Collection1]$ ls
  jdl  job.sh
  [lambert@lpsc-ui gliteWMS-Collection1]$ glite-wms-job-submit -a --collection jdl
  
  Connecting to the service https://wms111.cern.ch:7443/glite_wms_wmproxy_server
  
  
  ====================== glite-wms-job-submit Success ======================
  
  The job has been successfully submitted to the WMProxy
  Your job identifier is:
  
  https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
  
  ==========================================================================
  
  

• Statut des jobs de la collection
  
  Comme pour une soumission de job simple, il faut utiliser glite-wms-job-status <collectionId>. Le statut de chaque job de la collection est affiché ainsi que son jobId.

  [lambert@lpsc-ui gliteWMS-Collection1]$ glite-wms-job-status https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
  
  
  *************************************************************
  BOOKKEEPING INFORMATION:
  
  Status info for the Job : https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
  Current Status:     Aborted 
  Submitted:          Mon Aug 11 14:03:36 2008 CEST
  *************************************************************
  
  - Nodes information for: 
      Status info for the Job : https://lb106.cern.ch:9000/Bo6r95--3DDgvNTtvr7xRg
      Current Status:     Done (Success)
      Logged Reason(s):
          - 
          - Job terminated successfully
      Exit code:          0
      Status Reason:      Job terminated successfully
      Destination:        ce-2-fzk.gridka.de:2119/jobmanager-pbspro-atlasXL
      Submitted:          Mon Aug 11 14:03:36 2008 CEST
  *************************************************************
      
      Status info for the Job : https://lb106.cern.ch:9000/D5eVTNp6Ee790RoUK8iRug
      Current Status:     Done (Success)
      Exit code:          0
      Status Reason:      Job terminated successfully
      Destination:        ce115.cern.ch:2119/jobmanager-lcglsf-grid_2nh_atlas
      Submitted:          Mon Aug 11 14:03:36 2008 CEST
  *************************************************************
      
      Status info for the Job : https://lb106.cern.ch:9000/O6XU4SSZI23vw_0_5nwrww
      Current Status:     Aborted 
      Logged Reason(s):
          - Job got an error while in the CondorG queue.
      Status Reason:      hit job shallow retry count (0)
      Destination:        alice19.spbu.ru:2119/jobmanager-lcgpbs-atlas
      Submitted:          Mon Aug 11 14:03:36 2008 CEST
  *************************************************************
  
  

-->Exercice: Dans cet exemple, un des jobs a échoué, lequel ?

• Récupération des outputs
  
  Comme pour un job simple, il faut utiliser glite-wms-job-get-output <collectionId>. Les output de chaque jobs sont stockés par défaut dans un répertoire et les erreurs eventuelles sont signalées.

  [lambert@lpsc-ui gliteWMS-Collection1]$ glite-wms-job-output  https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
  
  Connecting to the service https://wms111.cern.ch:7443/glite_wms_wmproxy_server
  
  
  Warning - https://lb106.cern.ch:9000/O6XU4SSZI23vw_0_5nwrww: the status for this child node is ABORTED
  
  Warning - JobPurging not allowed
   (The Operation is not allowed: Job current status doesn't allow purge operation)
  
  
  ================================================================================
  
                          JOB GET OUTPUT OUTCOME
  
  Output sandbox files for the DAG/Collection :
  https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
  have been successfully retrieved and stored in the directory:
  /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg
  
  ================================================================================
  
  [lambert@lpsc-ui gliteWMS-Collection1]$ ls /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg
  ids_nodes.map  Node_job1_jdl  Node_job2_jdl
  
  

• Résultat des jobs
  
  Vous devez trouver un résultat similaire à celui ci :

  [lambert@lpsc-ui gliteWMS-Collection1]$ cat /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg/Node_job1_jdl/std.out 
  Comment t'appelles tu chien ?
  Je m'appelle paf !
  
  [lambert@lpsc-ui gliteWMS-Collection1]$ cat /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg/Node_job2_jdl/std.out
  Comment t'appelles tu girafe ?
  Je m'appelle flipflap !
  
  

-->Exercice: Soumettez votre collection, que trouvez-vous pour le 3ème job ?

up