Analyse d'un job avec accès à un SE distant

Ce tutoriel décrit comment exécuter un job sur le CE du LPSC en utilisant des données sur un SE distant.

Pour lancer un job, vous avez besoin de deux fichiers

• Le fichier JDL (Job Description Langage) Le fichier job.jdl est le fichier qui décrit votre job. Dans ce fichier vous trouverez une ligne de commentaire (#...) qui décrit chaque nouvelle instruction du fichier JDL.
• L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN)

• Utiliser un dataset
  Le dataset utilisé est valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25.
  Notez les guid des deux premiers fichiers qu'il contient

   [lambert@lpsc-ui JDL_InputSandBox_remote_gsiftp]$ dq2-list-files valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25
  BS.021085._00026.data.1         cb4e58bd-6229-4c63-8292-9f281b636091    md5:cb702a0d315de100ef48001968f8b424    576049696
  BS.021085._00013.data.1         c3e3acf3-0728-4e5a-b9f3-9bc71fc938eb    md5:d34db6104ff44d7475d5f1957f57e89e    576129736
  ...
  

--> Exercice: Trouvez ce dataset avec AMI et cherchez à quelle type de données il correspond

• Trouver l'alias LFN complet des fichiers

  [lambert@lpsc-ui edg5]$ lcg-la guid:cb4e58bd-6229-4c63-8292-9f281b636091
  lfn:/grid/atlas/dq2/valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00026.data.1
  
  [lambert@lpsc-ui edg5]$ lcg-la guid:c3e3acf3-0728-4e5a-b9f3-9bc71fc938eb
  lfn:/grid/atlas/dq2/valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00013.data.1
  
  

-->Exercice: Ouvrez et analysez le fichiers job.jdl. Essayer de le modifier pour utiliser deux autres fichiers de votre choix.

• Soumission du job et résultat
  Contrairement à glite-wms, la localisation des fichiers sur une machine distante ne peut être indiquée directement dans le JDL. Il faut donc les faire copier depuis le script du job.

  [lambert@lpsc-ui edg1]$ edg-job-submit job.jdl
  
  Selected Virtual Organisation name (from JDL): atlas
  Connecting to host node04.datagrid.cea.fr, port 7772
  Logging to host node04.datagrid.cea.fr, port 9002
  
  
  *********************************************************************************************
                                 JOB SUBMIT OUTCOME
   The job has been successfully submitted to the Network Server.
   Use edg-job-status command to check job current status. Your job identifier (edg_jobId) is:
  
   -  https://node04.datagrid.cea.fr:9000/X3df68heDW4vrxR76RmXfA
  
  
  *********************************************************************************************
  
  [lambert@lpsc-ui edg1]$ edg-job-status https://node04.datagrid.cea.fr:9000/X3df68heDW4vrxR76RmXfA
  
  
  *************************************************************
  BOOKKEEPING INFORMATION:
  
  Status info for the Job : https://node04.datagrid.cea.fr:9000/X3df68heDW4vrxR76RmXfA
  Current Status:     Done (Success)
  Exit code:          0
  Status Reason:      Job terminated successfully
  Destination:        lcg2ce.ific.uv.es:2119/jobmanager-pbs-short
  reached on:         Thu Jun  5 12:08:43 2008
  *************************************************************
  
  [lambert@lpsc-ui edg1]$ edg-job-get-output https://node04.datagrid.cea.fr:9000/X3df68heDW4vrxR76RmXfA
  
  Retrieving files from host: node04.datagrid.cea.fr ( for https://node04.datagrid.cea.fr:9000/X3df68heDW4vrxR76RmXfA )
  
  *********************************************************************************
                          JOB GET OUTPUT OUTCOME
  
   Output sandbox files for the job:
   - https://node04.datagrid.cea.fr:9000/X3df68heDW4vrxR76RmXfA
   have been successfully retrieved and stored in the directory:
   /atlas/lambert/JobOutput/lambert_X3df68heDW4vrxR76RmXfA
  
  *********************************************************************************
  
  [lambert@lpsc-ui gliteWMS5]$ cat /tmp/lambert_X3df68heDW4vrxR76RmXfA/std.out
  Localisation du dataset
  valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085
  1er fichier:
  BS.021085._00013.data.1
  2nd fichier:
  BS.021085._00026.data.1
  Liste des fichiers sur le WN:
  BS.021085._00013.data.1
  BS.021085._00026.data.1
  https_3a_2f_2flb105.cern.ch_3a9000_2fDLadyaUWPDqFDqCeHuLlsA.output
  job.sh
  std.err
  std.out
  tmp.IgNVS14151
  

--> Exercice : Vérifiez que les fichiers de données ont bien été rapatriés sur le WN
--> Exercice : Quels autres fichiers trouvez vous sur le WN ? Cela correspond il aux instructions votre job.jdl et votre job.sh ?

up ; previous ; next