Version 12 (modified by 16 years ago) ( diff ) | ,
---|
Analyse d'un job avec accès à un SE distant
Ce tutoriel décrit comment exécuter un job sur le CE du LPSC en utilisant des données sur un SE distant.
Pour lancer un job, vous avez besoin de deux fichiers
- Le fichier JDL (Job Description Langage) Le fichier job.jdl est le fichier qui décrit votre job. Dans ce fichier vous trouverez une ligne de commentaire (#...) qui décrit chaque nouvelle instruction du fichier JDL.
- L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN)
- Utiliser un dataset
Le dataset utilisé est valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25.
Notez les guid des deux premiers fichiers qu'il contient[lambert@lpsc-ui JDL_InputSandBox_remote_gsiftp]$ dq2-list-files valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25 BS.021085._00026.data.1 cb4e58bd-6229-4c63-8292-9f281b636091 md5:cb702a0d315de100ef48001968f8b424 576049696 BS.021085._00013.data.1 c3e3acf3-0728-4e5a-b9f3-9bc71fc938eb md5:d34db6104ff44d7475d5f1957f57e89e 576129736 ...
--> Exercice: Trouvez ce dataset avec AMI et cherchez à quelle type de données il correspond
- Trouver les TURL des fichiers
[lambert@lpsc-ui JDL_InputSandBox_remote_gsiftp]$ lcg-lr guid:cb4e58bd-6229-4c63-8292-9f281b636091 srm://ccsrm.in2p3.fr/pnfs/in2p3.fr/data/atlas/atlasmcdisk/valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00026.data.1 [lambert@lpsc-ui JDL_InputSandBox_remote_gsiftp]$ lcg-lr guid:c3e3acf3-0728-4e5a-b9f3-9bc71fc938eb srm://ccsrm.in2p3.fr/pnfs/in2p3.fr/data/atlas/atlasmcdisk/valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00013.data.1 [lambert@lpsc-ui JDL_InputSandBox_remote_gsiftp]$ lcg-gt srm://ccsrm.in2p3.fr/pnfs/in2p3.fr/data/atlas/atlasmcdisk/valid1/BS/\ valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00013.data.1 gsiftp gsiftp://ccxfer13.in2p3.fr:2811//pnfs/in2p3.fr/data/atlas/atlasmcdisk/valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00013.data.1 [lambert@lpsc-ui JDL_InputSandBox_remote_gsiftp]$ lcg-gt srm://ccsrm.in2p3.fr/pnfs/in2p3.fr/data/atlas/atlasmcdisk/valid1/BS/\ valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00026.data.1 gsiftp gsiftp://ccdcatsn005.in2p3.fr:2811//pnfs/in2p3.fr/data/atlas/atlasmcdisk/valid1/BS/valid1.007000.singlepart_e_Et10.bstream.BS.e322_s412_b25_tid021085/BS.021085._00026.data.1
-->Exercice: Ouvrez et analysez le fichiers job.jdl. Essayer de le modifier pour utiliser deux autres fichiers de votre choix.
- Soumission du job et résultat
[lambert@lpsc-ui gliteWMS5]$ glite-wms-job-submit -a job.jdl Connecting to the service https://wms105.cern.ch:7443/glite_wms_wmproxy_server ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: https://lb105.cern.ch:9000/DLadyaUWPDqFDqCeHuLlsA ========================================================================== [lambert@lpsc-ui gliteWMS5]$ glite-wms-job-status https://lb105.cern.ch:9000/DLadyaUWPDqFDqCeHuLlsA ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://lb105.cern.ch:9000/DLadyaUWPDqFDqCeHuLlsA Current Status: Done (Success) Logged Reason(s): - - Job terminated successfully Exit code: 0 Status Reason: Job terminated successfully Destination: lpsc-ce.in2p3.fr:2119/jobmanager-pbs-atlas Submitted: Tue May 27 17:04:50 2008 CEST ************************************************************* [lambert@lpsc-ui gliteWMS5]$ glite-wms-job-output https://lb105.cern.ch:9000/DLadyaUWPDqFDqCeHuLlsA Connecting to the service https://wms105.cern.ch:7443/glite_wms_wmproxy_server ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: https://lb105.cern.ch:9000/DLadyaUWPDqFDqCeHuLlsA have been successfully retrieved and stored in the directory: /tmp/lambert_DLadyaUWPDqFDqCeHuLlsA ================================================================================ [lambert@lpsc-ui gliteWMS5]$ cat /tmp/lambert_DLadyaUWPDqFDqCeHuLlsA/std.out 1er fichier: BS.021085._00013.data.1 2nd fichier: BS.021085._00026.data.1 Liste des fichiers sur le WN: BS.021085._00013.data.1 BS.021085._00026.data.1 https_3a_2f_2flb105.cern.ch_3a9000_2fDLadyaUWPDqFDqCeHuLlsA.output job.sh std.err std.out tmp.IgNVS14151
--> Exercice : Vérifiez que les fichiers de données ont bien été rapatriés sur le WN
--> Exercice : Quels autres fichiers trouvez vous sur le WN ? Cela correspond il aux instructions votre job.jdl et votre job.sh ?
Attachments (2)
-
job.jdl
(720 bytes
) - added by 16 years ago.
glite_wms_jdl_5
-
job.sh
(231 bytes
) - added by 16 years ago.
glite_wms_job_5
Download all attachments as: .zip