Version 21 (modified by 16 years ago) ( diff ) | ,
---|
Exemple de job d'analyse utilisant athena et DQ2
Ce tutoriel décrit comment executer un job d'analyse en utilisant:
- Le software d'ATLAS athena
- Un package d'analyse à compiler (Merci à Bertrand Brelier).
- Des fichiers de dataset obtenus avec DQ2.
Pour lancer un job, vous avez besoin de quatre fichiers
- Le fichier JDL (Job Description Langage)Le fichier job.jdl est le fichier qui décrit votre job.
Dans ce fichier vous trouverez une ligne de commentaire (#...) qui décrit chaque nouvelle instruction du fichier JDL. - L'executable. Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN)
- L'archive du package package.tar.gz contenant le package d'analyse à compiler.
Le package fourni exécute une analyse sur des fichier EVGN. Une fois compilé, un exemple de job se trouve dans le répertoire run : il faut fournir un evgen en entrée dans le fichier python. - Le fichier jobOption.py fourni en entrée d'athena.
Ce fichier à été écrit en se basant sur l'exemple donné dans le package d'analyse.
- Analyse détaillée du script job.sh
- Initialisation de l'environnement du software athena
source $VO_ATLAS_SW_DIR/software/14.0.0/setup.sh -tag=14.0.0,setup source $SITEROOT/AtlasOffline/14.0.0/AtlasOfflineRunTime/cmt/setup.sh
Le package tourne sous athena 14.0.x. ATLAS installe les versions de son soft sous $VO_ATLAS_SW_DIR.Sont initialisés ici le software athena et l'environnement d'exécution AtlasOfflineRunTime. - Initialisation de l'environnement LFC
export LFC_HOST=lfc-prod.in2p3.fr export LFC_HOME=/grid/atlas/users/user.FabianLambert
Le catalogue LFC utilisé ici pour enregistré les lfn des fichiers que produit le job. - Initialisation de l'environnement CMT
export CMTPATH=`pwd`:${CMTPATH}
CMT est l'outil de configuration qui sert à compiler les packages de ATLAS en résolvant leur dépendances.
Il peut aussi éventuellement servir à rapatrier les sources d'un package depuis un repository CVS. Dans notre cas le package est fourni dans l'archive package.tar.gz. - Initialisation de l'environnement DQ2
source $VO_ATLAS_SW_DIR/ddm/latest/setup.sh
DQ2 est l'outil ATLAS qui permet de récupérer des données sur la grille. - Décompression de l'archive
tar -xvzf ${1}
L'archive est décompressé sur le WN. Le nom de l'archive est le paramètre ${1} passé au job. - Compilation du package
cd MyValidation/cmt cmt config source setup.sh gmake
Le package fourni est configuré avec CMT puis compilé. - Récupération des fichiers avec DQ2
cd ../.. dq2-get -D -f ${4} ${3} mv ${4} jobInput.root
Le fichier ${4} du dataset ${3} est récupéré sur le WN. Ce fichier d'entrée est renommé en un nom générique utilisé par le package d'analyse. - Execution d'athena
athena.py ${2}
- Initialisation de l'environnement du software athena
- Soumission du job et résultat
-->Exercice: Dans le script job.sh, les LFN utilisés sont ils relatifs ou absolus ?
up ;
Attachments (6)
- Etajet.gif (8.7 KB ) - added by 16 years ago.
- EtaZ.gif (8.2 KB ) - added by 16 years ago.
- jobOption.py (570 bytes ) - added by 16 years ago.
- package.tar.gz (6.0 KB ) - added by 16 years ago.
- job.jdl (773 bytes ) - added by 16 years ago.
- job.sh (2.9 KB ) - added by 16 years ago.
Download all attachments as: .zip
Note:
See TracWiki
for help on using the wiki.