Exemple de job d'analyse utilisant athena et DQ2
-
Exemple de job d'analyse utilisant athena et DQ2
-
Analyse détaillée du script job.sh
-
- Initialisation de l'environnement du software athena
- Initialisation de l'environnement LFC
- Initialisation de l'environnement CMT
- Initialisation de l'environnement DQ2
- Décompression de l'archive
- Compilation du package
- Récupération des fichiers avec DQ2
- Execution d'athena
- Récupération du résultat sur le SE
-
- Soumission du job et résultat ==
-
Analyse détaillée du script job.sh
Ce tutoriel décrit comment executer un job d'analyse en utilisant:
- Le software d'ATLAS athena
- Un package d'analyse à compiler (Merci à Bertrand Brelier).
- Des fichiers de dataset obtenus avec DQ2.
Pour lancer un job, vous avez besoin de quatre fichiers
- Le fichier JDL (Job Description Langage)Le fichier job.jdl est le fichier qui décrit votre job.
Dans ce fichier vous trouverez une ligne de commentaire (#...) qui décrit chaque nouvelle instruction du fichier JDL. - L'executable. Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN)
- L'archive du package package.tar.gz contenant le package d'analyse à compiler.
Le package fourni exécute une analyse sur des fichier EVGN. Une fois compilé, un exemple de job se trouve dans le répertoire run : il faut fournir un evgen en entrée dans le fichier python. - Le fichier jobOption.py fourni en entrée d'athena.
Ce fichier à été écrit en se basant sur l'exemple donné dans le package d'analyse.
Analyse détaillée du script job.sh
Initialisation de l'environnement du software athena
source $VO_ATLAS_SW_DIR/software/14.0.0/setup.sh -tag=14.0.0,setup source $SITEROOT/AtlasOffline/14.0.0/AtlasOfflineRunTime/cmt/setup.sh
Le package tourne sous athena 14.0.x. ATLAS installe les versions de son soft sous $VO_ATLAS_SW_DIR.Sont initialisés ici le software athena et l'environnement d'exécution AtlasOfflineRunTime.
Initialisation de l'environnement LFC
export LFC_HOST=lfc-prod.in2p3.fr export LFC_HOME=/grid/atlas/users/user.FabianLambert
Le catalogue LFC utilisé ici pour enregistré les lfn des fichiers que produit le job.
Initialisation de l'environnement CMT
export CMTPATH=`pwd`:${CMTPATH}
CMT est l'outil de configuration qui sert à compiler les packages de ATLAS en résolvant leur dépendances.
Il peut aussi éventuellement servir à rapatrier les sources d'un package depuis un repository CVS. Dans notre cas le package est fourni dans l'archive package.tar.gz.
Initialisation de l'environnement DQ2
source $VO_ATLAS_SW_DIR/ddm/latest/setup.sh
DQ2 est l'outil ATLAS qui permet de récupérer des données sur la grille.
Décompression de l'archive
tar -xvzf ${1}
L'archive est décompressé sur le WN. Le nom de l'archive est le paramètre ${1} passé au job.
Compilation du package
cd MyValidation/cmt cmt config source setup.sh gmake
Le package fourni est configuré avec CMT puis compilé.
Récupération des fichiers avec DQ2
cd ../.. dq2-get -D -L IN2P3-LPSC_LOCALGROUPDISK -f ${4} ${3} mv ${4} jobInput.root
Le fichier ${4} du dataset ${3} est récupéré sur le WN. Ce fichier d'entrée est renommé en un nom générique utilisé par le package d'analyse.
Execution d'athena
athena.py ${2}
Athena est exécuté avec le fichier de job options passé en paramètre.
Récupération du résultat sur le SE
mv jobOutput.root user.flambert.${4} lcg-cr --vo atlas -l user.flambert.${4} -d srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.${4} file://`pwd`/user.flambert.${4} rm user.flambert.${4}
Le job produit un fichier avec un nom générique, ce fichier est renommé en fonction du nom d'une fichier en entrée.
Il est ensuite enregistré sur le SE et dans le LFC en utilisant les commandes de grille habituelle. Le fichier de sortie sur le WN est ensuite effacé.
Soumission du job et résultat ==
Le job est soumis avec la commande edg-job-submit (LCG2) ou avec glite-wms-job-submit(GLITE).
Le résultat peut être regardé en utilisant ROOT.
up ;
Attachments (6)
- Etajet.gif (8.7 KB ) - added by 16 years ago.
- EtaZ.gif (8.2 KB ) - added by 16 years ago.
- jobOption.py (570 bytes ) - added by 16 years ago.
- package.tar.gz (6.0 KB ) - added by 16 years ago.
- job.jdl (773 bytes ) - added by 16 years ago.
- job.sh (2.9 KB ) - added by 16 years ago.
Download all attachments as: .zip