Changes between Version 1 and Version 2 of tutopathenaanalysis


Ignore:
Timestamp:
18/11/2008 11:14:02 (16 years ago)
Author:
/O=GRID-FR/C=FR/O=CNRS/OU=LPSC/CN=Fabian Lambert
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • tutopathenaanalysis

    v1 v2  
    1717  * [wiki:setupAthenaLocal Préparer votre environnement] comme pour un job à lancer en local (cmthome, testarea...)
    1818  * [wiki:setuppathena Installez et configurez l'outil de soumission de job pathena.]
    19   * Décompressez le package fourni sous testarea puis initialiser le (après l'avoir éventuellement compilé)
    20   
     19
     20 == Le fichier joboptions ==
    2121 {{{
    22 sh-3.00$ gmake
     22sh-3.00$ cd /atlas/lambert/testarea/14.2.21/SingleTopDPDMaker/run
     23sh-3.00$ ls
     24dashboard.log            gangascript.py   log_debug            PoolFileCatalog.xml.BAK       SingleTopD3PD.root
     25exeSingleTopDPDMaker.py  log_athena_test  PoolFileCatalog.xml  runSingleTopDPDMaker_FDR2.py
    2326}}}
    24 
    25  ==== Le fichier joboptions ====
    26  {{{
    27 sh-3.00$ cd testarea/14.2.20/TopAnalysis/run/
    28 
    29 }}}
    30  Placez vous dans le répertoire run. Vous devez y trouver les fichiers joboptions !RunTopAnalysisDPD.py et !TopAnalysisDPD.py [[BR]]
     27 Placez vous dans le répertoire run. Vous devez y trouver les fichiers joboptions runSingleTopDPDMaker_FDR2.py et exeSingleTopDPDMaker.py [[BR]]
    3128 Vous n'avez rien à modifier, pathena analyse vos job options automatiquement.
    3229
    3330
    3431 
    35  ==== Initialisation de l'environnement d'exécution dans pathena ====
     32 == Initialisation de l'environnement d'exécution dans pathena ==
     33 Une fois votre package pathena obtenu de CVS et compilé, vous n'avez plus qu'à faire un source du fichier setup.sh.[[BR]]
     34 Bien sûr vous devez auparavant initialiser l'environnement athena (voir prérequis)
    3635{{{
    37 sh-3.00$ ganga
    38 
    39 
     36sh-3.00$ source /swareas/atls/prod/releases/rel_14-5/CMT/v1r20p20080222/mgr/setup.sh
     37sh-3.00$ source ~/cmthome/setup.sh -tag=14.2.21,setup
     38sh-3.00$ source ~/testarea/14.2.21/PhysicsAnalysis/DistributedAnalysis/PandaTools/cmt/setup.sh
    4039}}}
    4140
    42   ==== Lancer le job ====
    43 Pour lancer votre job vous devez taper une commande où vous précisez quelles données vous mettez en entrée et quelles données vous voulez récupérez en sortie.
     41  == Lancer le job ==
     42Pour lancer votre job vous devez taper une commande où vous précisez quelles données vous mettez en entrée et quelles données vous voulez produire en sortie.
    4443
    4544 {{{
    46 In
     45sh-3.00$ pathena --inDS fdr08_run2.0052280.physics_Egamma.merge.AOD.o3_f8_m10 --outDS user08.FabianLambert.panda.0052280.20081112 --site IN2P3-LPSC_DATADISK --split 6  --nEventsPerJob 100 runSingleTopDPDMaker_FDR2.py
     46extracting run configuration
     47ConfigExtractor > Input=POOL
     48ConfigExtractor > Output=THIST AANT
     49archive sources
     50archive InstallArea
     51post sources/jobO
     52query files in dataset:fdr08_run2.0052280.physics_Egamma.merge.AOD.o3_f8_m10
     53Could not get the # of events from MetaDB for fdr08_run2.0052280.physics_Egamma.merge.AOD.o3_f8_m10
     54Enter the number of events per file : 100
     55submit
     56===================
     57 JobID  : 124
     58 Status : 0
     59  > build
     60    PandaID=19093559
     61  > run
     62    PandaID=19093560-19093565
    4763}}}
    4864
    49   Cette ligne d'instruction mérite quelques explications :
     65  Cette ligne d'instruction mérite quelques explications : [[BR]]
     66  --inDS : Le LDN du dataset de donnée en entrée de votre job.
     67  --outDS : Le nom du dataset de sortie dans lequel pathena va stocker vos fichiers. Attention, la nomenclature impose que vos dataset commence par user08.
     68  --site : Le nom du site ou se trouve les données, afin que votre job soit envoyé sur le CE associé.
     69  --split : Le nombre de sujobs a faire tourner. Ici 6 car le dataset à analyser contient 6 fichiers, pathena va donc "répartir" les taches d'analyse sur plusieurs WN
     70  --nEventsPerJob : Le nombre d'évenements à traiter au maximum par subjobs
     71
    5072 
    51  ==== Suivre l'état d'avancement du job ====
     73 == Suivre l'état d'avancement du job ==
     74 Quand le job est soumis, pathena lui affecte un PandaID. Dans notre cas nous avons plusieurs PandaID car plusieurs sous-job on été lancé.[[BR]]
     75 Le premier identifiant (PandaID=19093559) correspond au "pilot job". C'est un job qui va compiler votre package d'analyse et vérifier qu'il n'y a pas d'erreurs.[[BR]]
     76 Si ce premier job s'execute sans erreur, vos jobs d'analyse seront ensuite lancés, ils sont identifiés par la plage de PandaID qui suit (PandaID=19093560-19093565).[[BR]]
     77 Une fois le job lancé, vous pouvez suivre son état d'avancement sur la page de [http://gridui06.usatlas.bnl.gov:25880/server/pandamon/query Panda]
    5278
    5379  ==== Récuperer les données ====