Changes between Version 49 and Version 50 of dq2Use


Ignore:
Timestamp:
08/10/2008 11:31:55 (16 years ago)
Author:
/O=GRID-FR/C=FR/O=CNRS/OU=LPSC/CN=Fabian Lambert
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • dq2Use

    v49 v50  
    1  == Utilisation de DQ2 ==
    2 
    3  * __Quand utiliser DQ2 ?__ [[BR]]Selon vos besoins, vous devrez obtenir des informations sur les données afin de les rapatrier ou de les utiliser à distance. DQ2 permet de réaliser des opérations de manipulation de dataset mais il est à utiliser avec retenue, ceci afin de ne pas saturer l'espace disque du LPSC.[[BR]] Plusieurs cas peuvent se présenter
     1 = Utilisation de DQ2 =
     2[[PageOutline]]
     3 == Quand utiliser DQ2 ? == [[BR]]Selon vos besoins, vous devrez obtenir des informations sur les données afin de les rapatrier ou de les utiliser à distance. DQ2 permet de réaliser des opérations de manipulation de dataset mais il est à utiliser avec retenue, ceci afin de ne pas saturer l'espace disque du LPSC.[[BR]] Plusieurs cas peuvent se présenter
    44  * Votre job doit utiliser des données stockées sur un SE distant. [[BR]]Si vous n'accordez pas d'importance à l'endroit ou le job s'exécute, faites le tourner sur un CE proche des données. Il est inutile dans ce cas de rapatrier vos données sur le SE du LPSC. Vous n'utiliserez DQ2 qu' afin d'obtenir des informations sur vos fichiers.
    55  * Vous souhaitez que votre job s'exécute sur le site du LPSC. [[BR]]Dans ce cas, si vous avez besoin d'un dataset précis, il faut utiliser DQ2 afin de demander le transfert d'un dataset sur un espace disque réservé du SE du LPSC. Cette demande de transfert s'appelle une souscription.
    66  * Vous souhaiter effectuer un job-test sur un échantillon réduit de données.[[BR]] Dans ce cas, utilisez DQ2 pour rapatrier sur votre compte local les fichiers qu'il vous faut pour votre job.
    77
    8  * __DQ2 pour le site LPSC__ [[BR]][https://twiki.cern.ch/twiki/bin/view/Atlas/DistributedDataManagement DQ2] est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.[[BR]]DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).
     8 == DQ2 pour le site LPSC == [[BR]][https://twiki.cern.ch/twiki/bin/view/Atlas/DistributedDataManagement DQ2] est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.[[BR]]DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).
    99  * Initialiser l'environnement DQ2 au LPSC [[BR]]L'environnement DQ2 est automatiquement initialisé quand vous vous connectez sur l'UI.
    1010 
    1111
    12  * __Récuperer un dataset en local avec dq2__ [[BR]]Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.
     12 == Récuperer un dataset en local avec dq2 == [[BR]]Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.
    1313  * '''dq2-get''' -s site -f file dataset
    1414 {{{
    … …  
    1919''-->Exercice: Trouver un dataset non vide avec [wiki:amiUse AMI] et rapatriez un de ses fichiers sur votre compte local''
    2020
    21  * __Souscrire un dataset__ [[BR]]En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande '''dq2-register-subscription''' [[BR]]
     21 == Souscrire un dataset == [[BR]]En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande '''dq2-register-subscription''' [[BR]]
    2222 En pratique, la manière officielle de procéder est de remplir ce [http://gridui02.usatlas.bnl.gov:25880/server/pandamon/query?mode=reqsubs0 formulaire]
    2323
    24  * __Lister les datasets présent sur le site LPSC__
     24 == Lister les datasets présent sur le site LPSC ==
    2525  * '''dq2-list-dataset-site''' site
    2626 {{{
    … …  
    3131}}}
    3232
    33  * __Lister les fichiers d'un dataset__
     33 == Lister les fichiers d'un dataset ==
    3434  * '''dq2-list-files''' dataset
    3535 {{{
    … …  
    4242}}}
    4343
    44  * __Déclarer un dataset__ [[BR]]Les datasets suivent une nomenclature très précise.
     44 == Déclarer un dataset == [[BR]]Les datasets suivent une nomenclature très précise.
    4545 Mais pour des données personnelles, vous pouvez très bien créer vos propres datasets
    4646   * '''dq2-register-dataset''' dataset
    … …  
    5050}}}
    5151
    52  * __Déclarer une localisation de dataset__
     52 == Déclarer une localisation de dataset ==
    5353   * '''dq2-register-location''' dataset site
    5454 {{{
    … …  
    5757}}}
    5858
    59  * __Déclarer des fichiers d'un dataset__
     59 == Déclarer des fichiers d'un dataset ==
    6060  * '''dq2-register_files''' dataset lfn guid fs:<filesize> md5:<checksum>[[BR]] Les attributs taille du fichier et checksum sont maintenant requis
    6161 {{{
    6262[lambert@lpsc-ui ~]$ dpns-ls -l
    6363-rw-rw-r--   1 102      102                      28 May 23 09:55 user.flambert.testfile
     64
    6465[lambert@lpsc-ui ~]$ md5sum user.flambert.testfile
    6566adc279da3fba38268f09afee571a543e  user.flambert.testfile
    … …  
    7374''-->Exercice: Récupérer votre dataset sur votre compte local''
    7475
    75  * __Supprimer un dataset__ [[BR]]Les entrées dans la base DQ2 sont effacées mais vos fichiers sont toujours présents sur le SE
     76 == Supprimer un dataset == [[BR]]Les entrées dans la base DQ2 sont effacées mais vos fichiers sont toujours présents sur le SE
    7677  * '''dq2-erase''' dataset
    7778 {{{
    … …  
    8182''-->Exercice: Supprimer votre dataset et vérifier qu'il est bien supprimer de DQ2''
    8283
    83  * __Autre commandes dq2__
     84 == Autre commandes dq2 ==
    8485DQ2 fournit de nombreuses commandes. Vous pouvez obtenir de l'aide avec l'option --help.
    8586 {{{