Pruebas de conexión al Nodo Grid
Control de versiones
| Fecha | Actividad | Autor |
|---|---|---|
| 25/04/2011 | Publicación inicial | Jorge Iván Meza Martínez. |
| 10/05/2011 | Se removió el uso de herramientas basadas en WS-GRAM. | Jorge Iván Meza Martínez. |
| 15/05/2011 | Se agregó la sección de la aplicación de verificación general para unificar en este artículo las pruebas del nodo, tanto cliente como CE. | Jorge Iván Meza Martínez. |
Introducción
En este capítulo se describen las pruebas de conexión al Nodo Grid las cuales aplican tanto para el Compute Element (CE) como para el Nodo Cliente.
Estas pruebas se podrán ejecutar de manera local como de manera remota reemplazando el nombre del Compute Element (ce.migrid.com) según corresponda con el FQDN de la máquina real.
Requerimientos
- El CE se encuentra completamente instalado y configurado.
- Si se van a realizar pruebas desde un Cliente Grid, este deberá estar correctamente instalado.
- El usuario que va a realizar las pruebas debe tener su certificado de usuario correctamente instalado.
- El usuario debe haber registrado su membrecía en la VO correspondiente, de lo contrario haberla agregado localmente al gridmap-file.
Precondición
Para la interacción con el Nodo Grid recuerde definir los rangos de puertos de envío y recepción de datos si estos no fueron definidos de manera permanente durante el proceso de instalación.
$ export GLOBUS_TCP_PORT_RANGE=20000,22000 $ export GLOBUS_TCP_SOURCE_RANGE=23000,25000
Utilizar la aplicación de verificación general
Esta verificación se sólo puede realizar desde el Compute Element (CE) únicamente, no desde los Clientes Grid.
$ cd /opt/ce-1.2/verify $ ./site_verify.pl
===============================================================================
Info: Site verification initiated at Thu Feb 10 22:27:31 2011 GMT.
===============================================================================
-------------------------------------------------------------------------------
------------- Begin ce.migrid.com at Thu Feb 10 22:27:31 2011 GMT -------------
-------------------------------------------------------------------------------
Checking prerequisites needed for testing: PASS
Checking for a valid proxy for usuario@ce.migrid.com: PASS
Checking if remote host is reachable: PASS
Checking for a running gatekeeper: YES; port 2119
Checking authentication: PASS
Checking 'Hello, World' application: PASS
Checking remote host uptime: PASS
17:27:34 up 1 day, 6:33, 10 users, load average: 33.26, 33.00, 32.64
Checking remote Internet network services list: PASS
Checking remote Internet servers database configuration: PASS
Checking for GLOBUS_LOCATION: /opt/ce-1.2/globus
Checking expiration date of remote host certificate: Aug 4 22:29:06 2011 GMT
Checking for gatekeeper configuration file: YES
/opt/ce-1.2/globus/etc/globus-gatekeeper.conf
Checking users in grid-mapfile, if none must be using Prima: alice,belle,cdf,cigi,
compbiogrid,dayabay,des,dosar,engage,fermilab,geant4,glow,gluex,gpn,grase,gridunesp,
hcc,i2u2,icecube,ilc,jdem,ligo,mis,nanohub,nwicg,nysgrid,ops,osg,osgedu,sam,samgrid,
sbgrid,star,usatlas1,uscms01
Checking for remote globus-sh-tools-vars.sh: YES
Checking configured grid services: PASS
jobmanager,jobmanager-condor,jobmanager-fork,jobmanager-managedfork
Checking for OSG osg-attributes.conf: YES
Checking scheduler types associated with remote jobmanagers: PASS
jobmanager is of type managedfork
jobmanager-condor is of type condor
jobmanager-fork is of type managedfork
jobmanager-managedfork is of type managedfork
Checking for paths to binaries of remote schedulers: PASS
Path to condor binaries is /opt/condor/bin
Path to managedfork binaries is .
Checking remote scheduler status: PASS
condor : 1 jobs running, 0 jobs idle/pending
Checking if Globus is deployed from the VDT: YES; version site
Checking for OSG version: NO
Checking for OSG grid3-user-vo-map.txt: YES
osgedu users: osgedu
Checking for OSG site name: griduam
Checking for OSG $GRID3 definition: /opt/ce-1.2
Checking for OSG $OSG_GRID definition: /exports/osg/wn-client
Checking for OSG $APP definition: /exports/osg/app
Checking for OSG $DATA definition: /exports/osg/data
Checking for OSG $TMP definition: /exports/osg/data
Checking for OSG $WNTMP definition: /tmp
Checking for OSG $OSG_GRID existence: PASS
Checking for OSG $APP existence: PASS
Checking for OSG $DATA existence: PASS
Checking for OSG $TMP existence: PASS
Checking for OSG $APP writability: PASS
Checking for OSG $DATA writability: PASS
Checking for OSG $TMP writability: PASS
Checking for OSG $APP available space: 330.873 GB
Checking for OSG $DATA available space: 330.873 GB
Checking for OSG $TMP available space: 330.873 GB
Checking for OSG additional site-specific variable definitions: YES
MountPoints
SAMPLE_LOCATION default /SAMPLE-path
SAMPLE_SCRATCH devel /SAMPLE-path
Checking for OSG execution jobmanager(s): ce.migrid.com/jobmanager-condor
Checking for OSG utility jobmanager(s): ce.migrid.com/jobmanager
Checking for OSG sponsoring VO: osgedu:100
Checking for OSG policy expression: NONE
Checking for OSG setup.sh: YES
Checking for OSG $Monalisa_HOME definition: /opt/ce-1.2/MonaLisa
Checking for MonALISA configuration: PASS
key ml_env vars:
FARM_NAME = c-head.micluster.com
FARM_HOME = /opt/ce-1.2/MonaLisa/Service/VDTFarm
FARM_CONF_FILE = /opt/ce-1.2/MonaLisa/Service/VDTFarm/vdtFarm.conf
SHOULD_UPDATE = false
URL_LIST_UPDATE = http://monalisa.cacr.caltech.edu/FARM_ML,http://monalisa.cern.ch/MONALISA/FARM_ML
key ml_properties vars:
lia.Monitor.group = Test
lia.Monitor.useIPaddress = undef
MonaLisa.ContactEmail = root@UAMCLMaestro.clusteruam.edu.co
Checking for a running MonALISA: NO
MonALISA does not appear to be running
Checking for a running GANGLIA gmond daemon: NO
gmond does not appear to be running
Checking for a running GANGLIA gmetad daemon: NO
gmetad does not appear to be running
Checking for a running gsiftp server: YES; port 2811
Checking gsiftp (local client, local host -> remote host): PASS
Checking gsiftp (local client, remote host -> local host): PASS
Checking that no differences exist between gsiftp'd files: PASS
-------------------------------------------------------------------------------
-------------- End ce.migrid.com at Thu Feb 10 22:32:22 2011 GMT --------------
-------------------------------------------------------------------------------
===============================================================================
Info: Site verification completed at Thu Feb 10 22:32:22 2011 GMT.
Verificar la autenticación únicamente
Verifica la autenticación del usuario (con su certificado) en el CE.
$ globusrun -a -r ce.migrid.com GRAM Authentication test successful
Enviar trabajos al Nodo Grid
Utilizando globus-job-run
La primera prueba consiste en enviar trabajos al manejador de fork (por defecto) el cual los ejecuta localmente en el CE y se utiliza para realizar verificaciones.
$ globus-job-run ce.migrid.com /bin/hostname
La siguiente prueba consiste en enviar trabajos al manejador de condor los cuales deberán ser procesados por el cluster y ejecutados en un nodo trabajador.
$ globus-job-run ce.migrid.com/jobmanager-condor /bin/hostname
Utilizando Condor-G
El envío de trabajos al nodo Grid utilizando a CondorG como manejador de trabajos sólo puede realizarse desde el Cliente Grid, no desde el CE directamente.
Preparar el archivo con la especificación del trabajo a enviar al nodo Grid.
$ vi test.submit
- test.submit
universe = grid grid_resource = gt2 ce.migrid.com/jobmanager-condor executable = /bin/hostname output = _test.out.$(Cluster).$(Process) error = _test.err.$(Cluster).$(Process) log = _test.log queue
Enviar el trabajo al nodo Grid.
$ condor_submit test.submit
Verificar su estado.
$ condor_q -globus
Revisar el resultado obtenido del trabajo.
$ cat _test.out
Transferir archivos utilizando GSIFTP
Se va a transferir el archivo local /etc/services y se ubicará en el directorio /tmp del nodo Grid con el nombre de ARCHIVO_PRUEBA.
$ globus-url-copy -v file:///etc/services gsiftp://ce.migrid.com/tmp/ARCHIVO_PRUEBA
Se verifica remotamente la existencia del nuevo archivo en el nodo Grid.
$ ls -l /tmp -rw-r--r-- 1 osgedu osgedu 362030 Apr 25 11:20 ARCHIVO_PRUEBA
Posteriormente se va a transferir de vuelta el archivo /tmp/ARCHIVO_PRUEBA, ahora remoto en el nodo Grid, hacia el cliente y se ubicará en el directorio /tmp con el nombre de ARCHIVO_REMOTO.
$ globus-url-copy -v gsiftp://ce.migrid.com/tmp/ARCHIVO_PRUEBA file:///tmp/ARCHIVO_REMOTO
Se verifica localmente la existencia del nuevo archivo en el Cliente.
$ ls -l /tmp -rw-rw-r-- 1 jimezam jimezam 362030 Apr 25 11:23 ARCHIVO_REMOTO
