Version 27 (modified by 16 years ago) ( diff ) | ,
---|
Manipulation de dataset
- Trouver son dataset avec AMI
AMI est l'outil officiel de recherche de dataset par méta données pour ATLAS. Le service est proposé via un interface web mais aussi avec un client python nommé pyAMI.
L'interface web propose 3 type de recherches :
L'interface propose de nombreuses fonctionnalités afin d'obtenir des informations sur un dataset comme la provenance, les fichiers qui le composent, si le dataset est valide...
Un tutorial existe ici
- Configurer DQ2 pour le site LPSC
DQ2 est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.
DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).- Initialiser l'environnement DQ2 au LPSC
[lambert@lpsc-ui ~]$ source /usr/local/DQ2Client/setup.csh
- Configuration pour le site du LPSC
[lambert@lpsc-ui ~]$ setenv DQ2_LOCAL_SITE_ID "LPSC"
- Initialiser l'environnement DQ2 au LPSC
- Récuperer un dataset en local avec dq2
Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.[lambert@lpsc-ui ~]$ dq2-get -s BNLPANDA -D -f AOD.021339._00001.pool.root.2 valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 [lambert@lpsc-ui ~]$ ls AOD.021339._00001.pool.root.2
-->Exercice: Trouver un dataset non vide avec AMI et rapatriez un de ses fichiers sur votre compte local
- Souscrire un dataset
En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande dq2-register-subscription En pratique, la manière officielle de procéder est de remplir ce formulaire
- Lister les datasets présent sur le site LPSC
[lambert@lpsc-ui ~]$ dq2-list-dataset-site LPSC mc12.006895.AlpgenJimmyGamGamWithAAMassNp0.evgen.EVNT.v12000702_tid014701 calib0_valid1_V1.007061.singlepart_e_E100.recon.AOD.v13003003_tid017711 trig1_misal1_mc12.005181.PythiaZmumuJet.recon.ESD.v13003003_tid018043
- Autre commandes dq2
DQ2 fournit de nombreuses commandes. Vous pouvez obtenir de l'aide avec l'option --help. Les plus utiles sont
dq2-check-replica-consistency dq2-get-metadata dq2-list-files dq2-register-datasets-container dq2-close-dataset dq2-get-number-files dq2-list-subscription dq2-register-files dq2-delete-datasets dq2-get-replica-metadata dq2-list-subscription-info dq2-register-location dq2-delete-files dq2-list-dataset dq2-list-subscription-site dq2-register-subscription dq2-delete-replicas dq2-list-dataset-by-creationdate dq2-ls dq2-register-version dq2-delete-subscription dq2-list-dataset-replicas dq2-metadata dq2-reset-subscription dq2-destinations dq2-list-datasets-container dq2-ping dq2-reset-subscription-site dq2-erase dq2-list-dataset-site dq2-put dq2-sample dq2-freeze-dataset dq2-list-erased-datasets dq2-register-container dq2-sources dq2-get dq2-list-file-replicas dq2-register-dataset
Note:
See TracWiki
for help on using the wiki.