Changes between Version 56 and Version 57 of dq2Use


Ignore:
Timestamp:
22/12/2010 16:28:57 (14 years ago)
Author:
/O=GRID-FR/C=FR/O=CNRS/OU=LPSC/CN=Fabian Lambert
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • dq2Use

    v56 v57  
    11 = Utilisation de DQ2 =
    22[[PageOutline]]
    3  == Quand utiliser DQ2 ? == [[BR]]Selon vos besoins, vous devrez obtenir des informations sur les données afin de les rapatrier ou de les utiliser à distance. DQ2 permet de réaliser des opérations de manipulation de dataset mais il est à utiliser avec retenue, ceci afin de ne pas saturer l'espace disque du LPSC.[[BR]] Plusieurs cas peuvent se présenter
     3 == Quand utiliser DQ2 ? ==
     4Selon vos besoins, vous devrez obtenir des informations sur les données afin de les rapatrier ou de les utiliser à distance. DQ2 permet de réaliser des opérations de manipulation de dataset mais il est à utiliser avec retenue, ceci afin de ne pas saturer l'espace disque du LPSC.[[BR]] Plusieurs cas peuvent se présenter
    45  * Votre job doit utiliser des données stockées sur un SE distant. [[BR]]Si vous n'accordez pas d'importance à l'endroit ou le job s'exécute, faites le tourner sur un CE proche des données. Il est inutile dans ce cas de rapatrier vos données sur le SE du LPSC. Vous n'utiliserez DQ2 qu' afin d'obtenir des informations sur vos fichiers.
    56  * Vous souhaitez que votre job s'exécute sur le site du LPSC. [[BR]]Dans ce cas, si vous avez besoin d'un dataset précis, il faut utiliser DQ2 afin de demander le transfert d'un dataset sur un espace disque réservé du SE du LPSC. Cette demande de transfert s'appelle une souscription.
    67  * Vous souhaiter effectuer un job-test sur un échantillon réduit de données.[[BR]] Dans ce cas, utilisez DQ2 pour rapatrier sur votre compte local les fichiers qu'il vous faut pour votre job.
    78
    8  == DQ2 pour le site LPSC == [[BR]][https://twiki.cern.ch/twiki/bin/view/Atlas/DistributedDataManagement DQ2] est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.[[BR]]DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).
     9 == DQ2 pour le site LPSC ==
     10[https://twiki.cern.ch/twiki/bin/view/Atlas/DistributedDataManagement DQ2] est l'outil officiel de manipulation des données d'ATLAS. Il est développé et maintenu par le groupe DDM.[[BR]]DQ2 est installé sur les UI du LPSC (la dernière version est sur lpsc-ui.in2p3.fr).
    911  * Initialiser l'environnement DQ2 au LPSC [[BR]]
    1012Si vous êtes en SHELL[[BR]]
     
    1416 
    1517
    16  == Récuperer un dataset en local avec dq2 == [[BR]]Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.
     18 == Récuperer un dataset en local avec dq2 ==
     19Par exemple, récuperer un fichier AOD.021339._00001.pool.root.2 d'un dataset valid1.005107.pythia_Wtauhad.recon.AOD.e322_s412_b25_r385 sur le site de BNLPANDA.
    1720  * '''dq2-get''' -s site -f file dataset
    1821 {{{
     
    2326''-->Exercice: Trouver un dataset non vide avec [wiki:amiUse AMI] et rapatriez un de ses fichiers sur votre compte local''
    2427
    25  == Créer un dataset de fichiers avec dq2 == [[BR]]Par exemple, créer un dataset user.!FabianLambert.test_151208 sur le space token LPSC-USERDISK contenant un fichier user.!FabianLambert.test_151208.
     28 == Créer un dataset de fichiers avec dq2 ==
     29Par exemple, créer un dataset user.!FabianLambert.test_151208 sur le space token LPSC-USERDISK contenant un fichier user.!FabianLambert.test_151208.
    2630  * '''dq2-put''' -L <space-token> -f file dataset
    2731 {{{
     
    4650''-->Exercice: Créer un dataset non vide sur le [http://lcg2.in2p3.fr/wiki/index.php/Atlas:StorageRequirements space-token] LPSC-USERDISK (espace scratch) et contrôler qu'il a bien été créé avec dq2-list-dataset''
    4751
    48  == Souscrire un dataset == [[BR]]En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande '''dq2-register-subscription''' [[BR]]
     52 == Souscrire un dataset ==
     53En théorie, vous pouvez demander le transfert d'un dataset sur un site avec la commande '''dq2-register-subscription''' [[BR]]
    4954 En pratique, la manière officielle de procéder est de remplir ce [http://gridui02.usatlas.bnl.gov:25880/server/pandamon/query?mode=reqsubs0 formulaire]
    5055
     
    6974}}}
    7075
    71  == Déclarer un dataset == [[BR]]Les datasets suivent une nomenclature très précise.
     76 == Déclarer un dataset ==
     77Les datasets suivent une nomenclature très précise.
    7278 Mais pour des données personnelles, vous pouvez très bien créer vos propres datasets
    7379   * '''dq2-register-dataset''' dataset
     
    101107''-->Exercice: Récupérer votre dataset sur votre compte local''
    102108
    103  == Supprimer un dataset == [[BR]]Les entrées dans la base DQ2 sont effacées mais vos fichiers sont toujours présents sur le SE
     109 == Supprimer un dataset ==
     110Les entrées dans la base DQ2 sont effacées mais vos fichiers sont toujours présents sur le SE
    104111  * '''dq2-erase''' dataset
    105112 {{{