Manipulation de dataset

• Trouver son dataset avec AMI
  ​AMI est l'outil officiel de recherche de dataset par méta données pour ATLAS. Le service est proposé via un interface web mais aussi avec un client python nommé ​pyAMI.
  L'interface web propose 3 type de recherches :
  • ​Recherche simple par mots clef
  • ​Recherche par catalogues
  • ​Recherche avancée par champs prédéfinis

L'interface propose de nombreuses fonctionnalités afin d'obtenir des informations sur un dataset comme la provenance, les fichiers qui le composent, si le dataset est valide...
Un tutorial existe ​ici

• Configurer DQ2 pour le site LPSC
  ​DQ2 est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.
  DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).
  • Initialiser l'environnement DQ2 au LPSC
    

    [lambert@lpsc-ui ~]$ source /usr/local/DQ2Client/setup.csh
    

  • Configuration pour le site du LPSC

    [lambert@lpsc-ui ~]$ setenv DQ2_LOCAL_SITE_ID "LPSC"
    

• Récuperer un dataset en local avec dq2
  Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.

  [lambert@lpsc-ui ~]$ dq2-get -s BNLPANDA -D -f AOD.021339._00001.pool.root.2 valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385
  [lambert@lpsc-ui ~]$ ls
  AOD.021339._00001.pool.root.2 
  

-->Exercice: Trouver un dataset non vide avec AMI et rapatriez un de ses fichiers sur votre compte local

• Souscrire un dataset
  En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande dq2-register-subscription En pratique, la manière officielle de procéder est de remplir ce ​formulaire

• Lister les datasets présent sur le site LPSC

  [lambert@lpsc-ui ~]$ dq2-list-dataset-site LPSC
  mc12.006895.AlpgenJimmyGamGamWithAAMassNp0.evgen.EVNT.v12000702_tid014701
  calib0_valid1_V1.007061.singlepart_e_E100.recon.AOD.v13003003_tid017711
  trig1_misal1_mc12.005181.PythiaZmumuJet.recon.ESD.v13003003_tid018043
  

up