Utilisation de DQ2

• Configurer DQ2 pour le site LPSC
  ​DQ2 est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.
  DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).
  • Initialiser l'environnement DQ2 au LPSC
    

    [lambert@lpsc-ui ~]$ source /usr/local/DQ2Client/setup.csh
    

  • Configuration pour le site du LPSC

    [lambert@lpsc-ui ~]$ setenv DQ2_LOCAL_SITE_ID "LPSC"
    

• Récuperer un dataset en local avec dq2
  Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.

  [lambert@lpsc-ui ~]$ dq2-get -s BNLPANDA -D -f AOD.021339._00001.pool.root.2 valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385
  [lambert@lpsc-ui ~]$ ls
  AOD.021339._00001.pool.root.2 
  

-->Exercice: Trouver un dataset non vide avec AMI et rapatriez un de ses fichiers sur votre compte local

• Souscrire un dataset
  En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande dq2-register-subscription
  En pratique, la manière officielle de procéder est de remplir ce ​formulaire

• Lister les datasets présent sur le site LPSC

  [lambert@lpsc-ui ~]$ dq2-list-dataset-site LPSC
  mc12.006895.AlpgenJimmyGamGamWithAAMassNp0.evgen.EVNT.v12000702_tid014701
  calib0_valid1_V1.007061.singlepart_e_E100.recon.AOD.v13003003_tid017711
  trig1_misal1_mc12.005181.PythiaZmumuJet.recon.ESD.v13003003_tid018043
  

• Déclarer un dataset
  Les datasets suivent une nomenclature très précise. Mais pour des données personnelles, vous pouvez très bien créer vos propres datasets
  • dq2-register-dataset dataset

    [lambert@lpsc-ui ~]$ dq2-register-dataset user.flambert.testDataset
    Dataset user.flambert.testDataset created.
    

• Déclarer une localisation de dataset
  • dq2-register-location dataset site

    [lambert@lpsc-ui ~]$ dq2-register-location user.flambert.testDataset LPSC
    Dataset user.flambert.testDataset registered at LPSC
    

• Déclarer des fichiers d'un dataset
  • dq2-register dataset lfn guid fs:<filesize> md5:<checksum>

Les attributs taille du fichier et checksum sont maintenant requis

[lambert@lpsc-ui ~]$ dpns-ls -l
-rw-rw-r--   1 102      102                      28 May 23 09:55 user.flambert.testfile
[lambert@lpsc-ui ~]$ md5sum user.flambert.testfile 
adc279da3fba38268f09afee571a543e  user.flambert.testfile
[lambert@lpsc-ui ~]$ dq2-register-files user.flambert.testDataset user.flambert.testfileLFN 75f277aa-2e51-438d-8e7e-360e119131ee fs:28 md5:adc279da3fba38268f09afee571a543e
Dataset user.flambert.testDataset updated

• Autre commandes dq2

DQ2 fournit de nombreuses commandes. Vous pouvez obtenir de l'aide avec l'option --help. Les plus utiles sont

dq2-check-replica-consistency     dq2-get-metadata                  dq2-list-files                    dq2-register-datasets-container
dq2-close-dataset                 dq2-get-number-files              dq2-list-subscription             dq2-register-files
dq2-delete-datasets               dq2-get-replica-metadata          dq2-list-subscription-info        dq2-register-location
dq2-delete-files                  dq2-list-dataset                  dq2-list-subscription-site        dq2-register-subscription
dq2-delete-replicas               dq2-list-dataset-by-creationdate  dq2-ls                            dq2-register-version
dq2-delete-subscription           dq2-list-dataset-replicas         dq2-metadata                      dq2-reset-subscription
dq2-destinations                  dq2-list-datasets-container       dq2-ping                          dq2-reset-subscription-site
dq2-erase                         dq2-list-dataset-site             dq2-put                           dq2-sample
dq2-freeze-dataset                dq2-list-erased-datasets          dq2-register-container            dq2-sources
dq2-get                           dq2-list-file-replicas            dq2-register-dataset 

up