User Tools

Site Tools


grid:pruebas:conexion

Pruebas de conexión al Nodo Grid

Control de versiones

Fecha Actividad Autor
25/04/2011 Publicación inicial Jorge Iván Meza Martínez.
10/05/2011 Se removió el uso de herramientas basadas en WS-GRAM. Jorge Iván Meza Martínez.
15/05/2011 Se agregó la sección de la aplicación de verificación general para unificar en este artículo las pruebas del nodo,
tanto cliente como CE.
Jorge Iván Meza Martínez.

Introducción

En este capítulo se describen las pruebas de conexión al Nodo Grid las cuales aplican tanto para el Compute Element (CE) como para el Nodo Cliente.

Estas pruebas se podrán ejecutar de manera local como de manera remota reemplazando el nombre del Compute Element (ce.migrid.com) según corresponda con el FQDN de la máquina real.

Requerimientos

  1. El CE se encuentra completamente instalado y configurado.
  2. Si se van a realizar pruebas desde un Cliente Grid, este deberá estar correctamente instalado.
  3. El usuario que va a realizar las pruebas debe tener su certificado de usuario correctamente instalado.
  4. El usuario debe haber registrado su membrecía en la VO correspondiente, de lo contrario haberla agregado localmente al gridmap-file.

Precondición

Para la interacción con el Nodo Grid recuerde definir los rangos de puertos de envío y recepción de datos si estos no fueron definidos de manera permanente durante el proceso de instalación.

$ export GLOBUS_TCP_PORT_RANGE=20000,22000
 
$ export GLOBUS_TCP_SOURCE_RANGE=23000,25000

Utilizar la aplicación de verificación general

:!: Esta verificación se sólo puede realizar desde el Compute Element (CE) únicamente, no desde los Clientes Grid.

$ cd /opt/ce-1.2/verify
 
$ ./site_verify.pl
===============================================================================
Info: Site verification initiated at Thu Feb 10 22:27:31 2011 GMT.
===============================================================================
-------------------------------------------------------------------------------
------------- Begin ce.migrid.com at Thu Feb 10 22:27:31 2011 GMT -------------
-------------------------------------------------------------------------------
Checking prerequisites needed for testing: PASS
Checking for a valid proxy for usuario@ce.migrid.com: PASS
Checking if remote host is reachable: PASS
Checking for a running gatekeeper: YES; port 2119
Checking authentication: PASS
Checking 'Hello, World' application: PASS
Checking remote host uptime: PASS
   17:27:34 up 1 day,  6:33, 10 users,  load average: 33.26, 33.00, 32.64
Checking remote Internet network services list: PASS
Checking remote Internet servers database configuration: PASS
Checking for GLOBUS_LOCATION: /opt/ce-1.2/globus
Checking expiration date of remote host certificate: Aug  4 22:29:06 2011 GMT
Checking for gatekeeper configuration file: YES
  /opt/ce-1.2/globus/etc/globus-gatekeeper.conf
Checking users in grid-mapfile, if none must be using Prima: alice,belle,cdf,cigi,
compbiogrid,dayabay,des,dosar,engage,fermilab,geant4,glow,gluex,gpn,grase,gridunesp,
hcc,i2u2,icecube,ilc,jdem,ligo,mis,nanohub,nwicg,nysgrid,ops,osg,osgedu,sam,samgrid,
sbgrid,star,usatlas1,uscms01
Checking for remote globus-sh-tools-vars.sh: YES
Checking configured grid services: PASS
  jobmanager,jobmanager-condor,jobmanager-fork,jobmanager-managedfork
Checking for OSG osg-attributes.conf: YES
Checking scheduler types associated with remote jobmanagers: PASS
  jobmanager is of type managedfork
  jobmanager-condor is of type condor
  jobmanager-fork is of type managedfork
  jobmanager-managedfork is of type managedfork
Checking for paths to binaries of remote schedulers: PASS
  Path to condor binaries is /opt/condor/bin
  Path to managedfork binaries is .
Checking remote scheduler status: PASS
  condor : 1 jobs running, 0 jobs idle/pending
Checking if Globus is deployed from the VDT: YES; version site
Checking for OSG version: NO
Checking for OSG grid3-user-vo-map.txt: YES
  osgedu users: osgedu
Checking for OSG site name: griduam
Checking for OSG $GRID3 definition: /opt/ce-1.2
Checking for OSG $OSG_GRID definition: /exports/osg/wn-client
Checking for OSG $APP definition: /exports/osg/app
Checking for OSG $DATA definition: /exports/osg/data
Checking for OSG $TMP definition: /exports/osg/data
Checking for OSG $WNTMP definition: /tmp
Checking for OSG $OSG_GRID existence: PASS
Checking for OSG $APP existence: PASS
Checking for OSG $DATA existence: PASS
Checking for OSG $TMP existence: PASS
Checking for OSG $APP writability: PASS
Checking for OSG $DATA writability: PASS
Checking for OSG $TMP writability: PASS
Checking for OSG $APP available space: 330.873 GB
Checking for OSG $DATA available space: 330.873 GB
Checking for OSG $TMP available space: 330.873 GB
Checking for OSG additional site-specific variable definitions: YES
  MountPoints
    SAMPLE_LOCATION default /SAMPLE-path
    SAMPLE_SCRATCH devel /SAMPLE-path
Checking for OSG execution jobmanager(s): ce.migrid.com/jobmanager-condor
Checking for OSG utility jobmanager(s): ce.migrid.com/jobmanager
Checking for OSG sponsoring VO: osgedu:100
Checking for OSG policy expression: NONE
Checking for OSG setup.sh: YES
Checking for OSG $Monalisa_HOME definition: /opt/ce-1.2/MonaLisa
Checking for MonALISA configuration: PASS
  key ml_env vars:
    FARM_NAME = c-head.micluster.com
    FARM_HOME = /opt/ce-1.2/MonaLisa/Service/VDTFarm
    FARM_CONF_FILE = /opt/ce-1.2/MonaLisa/Service/VDTFarm/vdtFarm.conf
    SHOULD_UPDATE = false
    URL_LIST_UPDATE = http://monalisa.cacr.caltech.edu/FARM_ML,http://monalisa.cern.ch/MONALISA/FARM_ML
  key ml_properties vars:
    lia.Monitor.group = Test
    lia.Monitor.useIPaddress = undef
    MonaLisa.ContactEmail = root@UAMCLMaestro.clusteruam.edu.co
Checking for a running MonALISA: NO
  MonALISA does not appear to be running
Checking for a running GANGLIA gmond daemon: NO
  gmond does not appear to be running
Checking for a running GANGLIA gmetad daemon: NO
  gmetad does not appear to be running
Checking for a running gsiftp server: YES; port 2811
Checking gsiftp (local client, local host -> remote host): PASS
Checking gsiftp (local client, remote host -> local host): PASS
Checking that no differences exist between gsiftp'd files: PASS
-------------------------------------------------------------------------------
-------------- End ce.migrid.com at Thu Feb 10 22:32:22 2011 GMT --------------
-------------------------------------------------------------------------------
===============================================================================
Info: Site verification completed at Thu Feb 10 22:32:22 2011 GMT.

Verificar la autenticación únicamente

Verifica la autenticación del usuario (con su certificado) en el CE.

$ globusrun -a -r ce.migrid.com
 
    GRAM Authentication test successful

Enviar trabajos al Nodo Grid

Utilizando globus-job-run

La primera prueba consiste en enviar trabajos al manejador de fork (por defecto) el cual los ejecuta localmente en el CE y se utiliza para realizar verificaciones.

$ globus-job-run ce.migrid.com /bin/hostname

La siguiente prueba consiste en enviar trabajos al manejador de condor los cuales deberán ser procesados por el cluster y ejecutados en un nodo trabajador.

$ globus-job-run ce.migrid.com/jobmanager-condor /bin/hostname

Utilizando Condor-G

:!: El envío de trabajos al nodo Grid utilizando a CondorG como manejador de trabajos sólo puede realizarse desde el Cliente Grid, no desde el CE directamente.

Preparar el archivo con la especificación del trabajo a enviar al nodo Grid.

$ vi test.submit
test.submit
universe      = grid
grid_resource = gt2 ce.migrid.com/jobmanager-condor
executable    = /bin/hostname
output        = _test.out.$(Cluster).$(Process)
error         = _test.err.$(Cluster).$(Process)
log           = _test.log 
queue

Enviar el trabajo al nodo Grid.

$ condor_submit test.submit

Verificar su estado.

$ condor_q -globus

Revisar el resultado obtenido del trabajo.

$ cat _test.out

Transferir archivos utilizando GSIFTP

Se va a transferir el archivo local /etc/services y se ubicará en el directorio /tmp del nodo Grid con el nombre de ARCHIVO_PRUEBA.

$ globus-url-copy -v file:///etc/services gsiftp://ce.migrid.com/tmp/ARCHIVO_PRUEBA

Se verifica remotamente la existencia del nuevo archivo en el nodo Grid.

$ ls -l /tmp
 
    -rw-r--r-- 1 osgedu      osgedu      362030 Apr 25 11:20 ARCHIVO_PRUEBA

Posteriormente se va a transferir de vuelta el archivo /tmp/ARCHIVO_PRUEBA, ahora remoto en el nodo Grid, hacia el cliente y se ubicará en el directorio /tmp con el nombre de ARCHIVO_REMOTO.

$ globus-url-copy -v gsiftp://ce.migrid.com/tmp/ARCHIVO_PRUEBA file:///tmp/ARCHIVO_REMOTO

Se verifica localmente la existencia del nuevo archivo en el Cliente.

$ ls -l /tmp
 
    -rw-rw-r-- 1 jimezam     jimezam     362030 Apr 25 11:23 ARCHIVO_REMOTO

Enlaces

grid/pruebas/conexion.txt · Last modified: 2012/02/26 22:35 (external edit)