Version 49 (modified by 16 years ago) ( diff ) | ,
---|
Manipulation de données grille
- variable d'environnement
Avant toutes choses, vous allez créer votre répertoire personnel sur le SE du LPSC. Pour cela il est nécessaire de définir les variables d'environnement $DPNS_HOST et $DPNS_HOME[lambert@lpsc-ui ~]$ setenv DPNS_HOST lpsc-se-dpm-server.in2p3.fr [lambert@lpsc-ui ~]$ setenv DPNS_HOME /dpm/in2p3.fr/home/atlas/
Créez ensuite votre répertoire personnel[lambert@lpsc-ui ~]$ dpns-mkdir flambert
Il doit apparaitre maintenant sous /dpm/in2p3.fr/home/atlas[lambert@lpsc-ui ~]$ dpns-ls ... atlasmcdisk ... flambert ...
Remarque: Les commandes dpns-* sont par analogie assez similaires aux commandes lfc-*. Elles ne sont à utiliser que pour "préparer" le SE lpsc-se-dpm-server.in2p3.fr
--> Exercice: Créez Egalement un repertoire test sous votre repertoire perso
- Copie de fichier
La copie d'un fichier local sur le SE se fait avec la commande lcg-cr (copy and register). Cette commande effectue la copie du fichier sur le SE et enregistre eventuellement un LFN dans le LFC.- lcg-cr [-l LFN] [-d SURL] srcFile
[lambert@lpsc-ui ~/TestGrid]$ lcg-cr --vo atlas -l user.flambert.testfileLFN \ -d srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile \ file://atlas/lambert/TestGrid/user.flambert.testfile guid:67796c49-29ac-4831-838d-b5ffc389e846
- lcg-cr [-l LFN] [-d SURL] srcFile
La commande retourne un GUID qui identifie le fichier de manière unique sur la grille.
-->Exercice: Créez votre fichier et copiez le sur le SE dans votre répertoire.
-->Exercice: Vérifiez que le fichier à bien été enregistré dans le LFC.
- Identifiants d'un fichier
Une fois copier sur un SE et déclarer dans un LFC, un fichier peut être retrouvé avec plusieurs identifiants.- lcg-lg Obtenir le GUID à partir du LFN
[lambert@lpsc-ui ~/TestGrid]$ lcg-lg lfn:user.flambert.testfileLFN guid:67796c49-29ac-4831-838d-b5ffc389e846
- lcg-la Obtenir le LFN à partir du GUID
[lambert@lpsc-ui ~/TestGrid]$ lcg-la guid:67796c49-29ac-4831-838d-b5ffc389e846 lfn:/grid/atlas/users/user.FabianLambert/user.flambert.testfileLFN
- lcg-lr Obtenir la SURL à partir du LFN
[lambert@lpsc-ui ~/TestGrid]$ lcg-lr lfn:user.flambert.testfileLFN srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile
- lcg-gt Obtenir la TURL à partir de la SURL
[lambert@lpsc-ui ~/TestGrid]$ lcg-gt srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile gsiftp gsiftp://lpsc-se-dpm-server.in2p3.fr/lpsc-se-dpm-server.in2p3.fr:/data2/atlas/2008-05-22/user.flambert.testfile.89643.0 89650 0
- lcg-lg Obtenir le GUID à partir du LFN
--> Exercice : Testez les commandes précédentes sur votre fichier en essayant plusieurs options
- Récupérer un fichier
Un fichier copié sur un SE peut être récupéré en local.- lcg-cp srcFile destFile
[lambert@lpsc-ui ~/TestGrid]$ lcg-cp --vo atlas lfn:user.flambert.testfileLFN file://atlas/lambert/TestGrid/user.flambert.testfileRecup [lambert@lpsc-ui ~/TestGrid]$ ls user.flambert.testfile user.flambert.testfileRecup
- lcg-cp srcFile destFile
--> Exercice : Récuperez votre fichier en local depuis le SE en utilisant successivement un GUID, une SURL, une TURL
- Répliquer un fichier
Un fichier peut-être répliquer d'un SE à un autre SE.
Remarque : Dans l'exemple suivant le SE de destination est le même que le SE source, ceci afin d'éviter des problèmes de droits sur les fichiers dans le LFC.
A ce titre, si vous voulez récupérer des vraies données sur votre compte personnel sur le SE, préférez un lcg-cp suivi d'un lcg-cr.- lcg-rep [-d destFile] srcFile
- Le fichier est répliqué sur le SE.
[lambert@lpsc-ui ~]$ lcg-rep --vo atlas -d srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/testdir/user.flambert.testfileReplica lfn:user.flambert.testfileLFN [lambert@lpsc-ui ~]$ dpns-ls testdir user.flambert.testfileReplica
- Aucun alias (LFN) n'est crée pour ce nouveau fichier...
[lambert@lpsc-ui ~]$ lfc-ls testdir
- ... par contre l'alias pointe maintenant sur deux réplications du fichier
[lambert@lpsc-ui ~]$ lcg-lr lfn:user.flambert.testfileLFN srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/testdir/user.flambert.testfileReplica srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile
- Le fichier est répliqué sur le SE.
- lcg-rep [-d destFile] srcFile
--> Exercice : Répliquez votre fichier sur le SE du LPSC en utilisant successivement son GUID
- Effacer un fichier
lcg-del est une commande puissante qui doit être manié avec précaution. Elle permet d'effacer un replica d'un SE, ou tous les replicas d'un SE, ou encore tous les replicas connus sur la grille !- Effacer un replica (et un seul...) d'un SE
[lambert@lpsc-ui ~/TestGrid]$ lcg-del --vo atlas --se lpsc-se-dpm-server.in2p3.fr srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/testdir/user.flambert.testfileReplica [lambert@lpsc-ui ~/TestGrid]$ lcg-lr lfn:user.flambert.testfileLFN srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile
- Effacer tous les replica (fichier initial compris) d'un SE
Remarque: l'alias est également supprimé du LFC.[lambert@lpsc-ui ~/TestGrid]$ lcg-del --vo atlas --se lpsc-se-dpm-server.in2p3.fr lfn:user.flambert.testfileLFN [lambert@lpsc-ui ~/TestGrid]$ lfc-ls
- Effacer tous les replicas de la grille
[lambert@lpsc-ui ~/TestGrid]$ lcg-del --vo atlas -a lfn:user.flambert.testfileLFN [lambert@lpsc-ui ~/TestGrid]$ lfc-ls
- Effacer un replica (et un seul...) d'un SE
--> Exercice : Effacez votre réplica et vérifiez que votre fichier a bien été effacé du SE
D'autres commandes lcg-* existent
lcg-aa lcg-getturls lcg-job-monitor lcg-lr lcg-rep lcg-tags lcg-cp lcg-gt lcg-job-status lcg-ls lcg-replica-manager lcg-uf lcg-cr lcg-info lcg-la lcg-ManageVOTag lcg-rf lcg-del lcg-infosites lcg-lg lcg-ra lcg-sd