Soumission d'une collection de jobs

Ce tutoriel décrit comment soumettre une collection de jobs en référençant plusieurs fichiers JDL à partir d'un fichier de description JDL unique.

Pour lancer la collection de jobs, vous avez besoin de plusieurs fichiers

• Les fichier JDL (Job Description Langage) Le fichier job.jdl décrit la collection de jobs, les fichiers job1.jdl,job2.jdl et job3.jdl décrivent chacun un job.
• L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN). Dans notre cas il est commun aux trois jobs de la collection.

• Soumission de la collection
  
  La collection est soumise de la même manière qu'un job normal avec glite-wms-job-submit -a <JDL file>.

  [lambert@lpsc-ui gliteWMS-Collection3]$ glite-wms-job-submit -a job.jdl
  
  Connecting to the service https://wms105.cern.ch:7443/glite_wms_wmproxy_server
  
  
  ====================== glite-wms-job-submit Success ======================
  
  The job has been successfully submitted to the WMProxy
  Your job identifier is:
  
  https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
  
  ==========================================================================
  

• Statut des jobs de la collection
  
  Comme pour une soumission de job simple, il faut utiliser glite-wms-job-status <collectionId>. Le statut de chaque job de la collection est affiché ainsi que son jobId.

  [lambert@lpsc-ui gliteWMS-Collection3]$ glite-wms-job-status https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
  
  
  *************************************************************
  BOOKKEEPING INFORMATION:
  
  Status info for the Job : https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
  Current Status:     Done (Success)
  Exit code:          0
  Submitted:          Tue Aug 12 14:13:49 2008 CEST
  *************************************************************
  
  - Nodes information for: 
      Status info for the Job : https://lb106.cern.ch:9000/4cVkeLv18EG3S0pQY1auew
      Current Status:     Done (Success)
      Logged Reason(s):
          - 
          - Job terminated successfully
      Exit code:          0
      Status Reason:      Job terminated successfully
      Destination:        ce0003.m45.ihep.su:2119/jobmanager-lcgpbs-atlas
      Submitted:          Tue Aug 12 14:13:49 2008 CEST
  *************************************************************
      
      Status info for the Job : https://lb106.cern.ch:9000/T679nHHe1anGV3F9lxsutA
      Current Status:     Done (Success)
      Exit code:          0
      Status Reason:      Job terminated successfully
      Destination:        ce002.ipp.acad.bg:2119/jobmanager-lcgpbs-atlas
      Submitted:          Tue Aug 12 14:13:49 2008 CEST
  *************************************************************
      
      Status info for the Job : https://lb106.cern.ch:9000/rh9u9rMbCDlkROPGX8tR6g
      Current Status:     Done (Success)
      Logged Reason(s):
          - 
          - Job terminated successfully
      Exit code:          0
      Status Reason:      Job terminated successfully
      Destination:        ce06-lcg.cr.cnaf.infn.it:2119/jobmanager-lcglsf-atlas
      Submitted:          Tue Aug 12 14:13:49 2008 CEST
  *************************************************************
  

• Récupération des outputs
  
  Comme pour un job simple, il faut utiliser glite-wms-job-get-output <collectionId>. Les output de chaque jobs sont stockés par défaut dans un répertoire et les erreurs eventuelles sont signalées.

  [lambert@lpsc-ui gliteWMS-Collection3]$ glite-wms-job-output  https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
  
  Connecting to the service https://wms105.cern.ch:7443/glite_wms_wmproxy_server
  
  
  ================================================================================
  
                          JOB GET OUTPUT OUTCOME
  
  Output sandbox files for the DAG/Collection :
  https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
  have been successfully retrieved and stored in the directory:
  /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ
  
  ================================================================================
  
  
  [lambert@lpsc-ui gliteWMS-Collection3]$ ls /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ
  chien  girafe  ids_nodes.map  souris
  

-->Exercice: étudiez le fichier JDL. Par quoi est déterminer le répertoire où sont stockés les résultats de vos jobs ?

• Résultat des jobs
  
  Vous devez trouver un résultat similaire à celui ci :

  [lambert@lpsc-ui gliteWMS-Collection2]$ cat /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ/chien/std1.out 
  Comment t'appelles tu chien ?
  Je m'appelle paf !
  [lambert@lpsc-ui gliteWMS-Collection2]$ cat /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ/girafe/std2.out
  Comment t'appelles tu girafe ?
  Je m'appelle flipflap !
  [lambert@lpsc-ui gliteWMS-Collection2]$ cat /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ/souris/std3.out
  Comment t'appelles tu souris ?
  Je m'appelle sproutch !
  

up