Version 38 (modified by 16 years ago) ( diff ) | ,
---|
Manipulation de données grille
- variable d'environnement
Avant toutes choses, vous allez créer votre répertoire personnel sur le SE du LPSC. Pour cela il est nécessaire de définir les variables d'environnement $DPNS_HOST et $DPNS_HOME[lambert@lpsc-ui ~]$ setenv DPNS_HOST lpsc-se-dpm-server.in2p3.fr [lambert@lpsc-ui ~]$ setenv DPNS_HOME /dpm/in2p3.fr/home/atlas/
Créez ensuite votre répertoire personnel[lambert@lpsc-ui ~]$ dpns-mkdir flambert
Il doit apparaitre maintenant sous /dpm/in2p3.fr/home/atlas[lambert@lpsc-ui ~]$ dpns-ls ... atlasmcdisk ... flambert ...
Remarque: Les commandes dpns-* sont par analogie assez similaires aux commandes lfc-*. Elles ne sont à utiliser que pour "préparer" le SE lpsc-se-dpm-server.in2p3.fr
--> Exercice: Créez Egalement un repertoire test sous votre repertoire perso
- Copie de fichier
La copie d'un fichier local sur le SE se fait avec la commande lcg-cr (copy and register). Cette commande effectue la copie du fichier sur le SE et enregistre eventuellement un LFN dans le LFC.- lcg-cr [-l LFN] [-d SURL] srcFile
[lambert@lpsc-ui ~/TestGrid]$ lcg-cr --vo atlas -l user.flambert.testfileLFN \ -d srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile \ file://atlas/lambert/TestGrid/user.flambert.testfile guid:67796c49-29ac-4831-838d-b5ffc389e846
- lcg-cr [-l LFN] [-d SURL] srcFile
La commande retourne un GUID qui identifie le fichier de manière unique sur la grille.
-->Exercice: Créez votre fichier et copiez le sur le SE dans votre répertoire.
-->Exercice: Vérifiez que le fichier à bien été enregistré dans le LFC.
- Identifiants d'un fichier
Une fois copier sur un SE et déclarer dans un LFC, un fichier peut être retrouvé avec plusieurs identifiants.- lcg-lg Obtenir le GUID à partir du LFN
[lambert@lpsc-ui ~/TestGrid]$ lcg-lg lfn:user.flambert.testfileLFN guid:67796c49-29ac-4831-838d-b5ffc389e846
- lcg-la Obtenir le LFN à partir du GUID
[lambert@lpsc-ui ~/TestGrid]$ lcg-la guid:67796c49-29ac-4831-838d-b5ffc389e846 lfn:/grid/atlas/users/user.FabianLambert/user.flambert.testfileLFN
- lcg-lr Obtenir la SURL à partir du LFN
[lambert@lpsc-ui ~/TestGrid]$ lcg-lr lfn:user.flambert.testfileLFN srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile
- lcg-gt Obtenir la TURL à partir de la SURL
[lambert@lpsc-ui ~/TestGrid]$ lcg-gt srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile gsiftp gsiftp://lpsc-se-dpm-server.in2p3.fr/lpsc-se-dpm-server.in2p3.fr:/data2/atlas/2008-05-22/user.flambert.testfile.89643.0 89650 0
- lcg-lg Obtenir le GUID à partir du LFN
--> Exercice : Testez les commandes précédentes sur votre fichier en essayant plusieurs options
- Récupérer un fichier
Un fichier copié sur un SE peut être récupéré en local.- lcg-cp srcFile destFile
[lambert@lpsc-ui ~/TestGrid]$ lcg-cp --vo atlas lfn:user.flambert.testfileLFN file://atlas/lambert/TestGrid/user.flambert.testfileRecup [lambert@lpsc-ui ~/TestGrid]$ ls user.flambert.testfile user.flambert.testfileRecup
- lcg-cp srcFile destFile
--> Exercice : Récuperez votre fichier en local depuis le SE en utilisant successivement un GUID, une SURL, une TURL
- Répliquer un fichier
Un fichier peut-être répliquer d'un SE à un autre SE.
Remarque : Dans l'exemple suivant le SE de destination est le même que le SE source, ceci afin d'éviter des problèmes de droits sur les fichiers.- lcg-rep [-d destFile] srcFile
[lambert@lpsc-ui ~]$ lcg-rep --vo atlas -d srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/testdir/user.flambert.testfileReplica lfn:user.flambert.testfileLFN [lambert@lpsc-ui ~]$ dpns-ls testdir user.flambert.testfileReplica
- lcg-rep [-d destFile] srcFile
Le fichier a été répliqué sur le SE.
[lambert@lpsc-ui ~]$ lfc-ls testdir
Aucun alias (LFN) n'a été crée pour ce nouveau fichier...
[lambert@lpsc-ui ~]$ lcg-lr lfn:user.flambert.testfileLFN srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/testdir/user.flambert.testfileReplica srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.testfile
... par contre l'alias pointe maintenant sur deux réplications du fichier. up ; previous