User Tools

Site Tools


cluster:agregar_nodos_submitter_sl_tgz

Agregar nodos de envío de trabajos al cluster utilizando Scientific Linux y el paquete .tgz

Control de versiones

Fecha Actividad Autor
03/12/2010 Publicación inicial Jorge Iván Meza Martínez.

Introducción

En esta sección se describe la instalación y configuración de un nodo facultado para enviar trabajos (submitter) al cluster utilizando Scientific Linux a partir de la distribución original de Condor en formato .tgz que puede descargarse desde su sitio web.

Precondición

  • El cluster se encuentra instalado y funcionando.
  • El cluster cuenta con al menos el nodo principal (c-head) y al menos un nodo trabajador (c-wn1).

Supuestos

  • El nodo submitter a instalarse se encuentra autorizado para enviar trabajos al cluster. Para esto verificar la variable HOSTALLOW_WRITE (machines permitted to submit jobs to this pool) en la configuración del cluster.

Crear el usuario Condor

El usuario condor será el encargado de ejecutar los demonios de Condor en la máquina local. Para evitar problemas de permisos en el sistema de archivos su UID y GID deberán corresponder con los del usuario condor del cluster, en este caso, con los existentes en c-head.

# groupadd -g 501 condor
 
# useradd -c "Usuario Condor" -d /home/condor -m condor -s /bin/bash -u 501 -g 501
 
# passwd condor

Obtener y descomprimir la distribución Condor

En este capítulo se utiliza la distribución .tgz de Condor que se obtiene desde su sitio web. Para GNU/Linux Ubuntu se recomienda que obtenga la distribución dinámica para RHEL Intel x86 o RHEL Intel x86/64 según sea la arquitectura objetivo.

# tar zxvf condor-*-linux-x86-rhel*-dynamic.tar.gz
 
# cd condor-*

Instalar Condor

La distribución para nodo de envío de trabajos de Condor se instalará en esta caso bajo /home/condor/7.4.4 y su directorio de archivos local será /home/condor.

# ./condor_install --prefix=/home/condor/7.4.4 --local-dir=/home/condor --type=submit --owner=condor

Configurar el nodo

Agregar la siguiente información al archivo de configuración local (condor_config.local) de Condor y verifique los valores de las variables comentadas.

La ubicación del nodo principal del cluster, c-head en este caso, debe ser resuelto por algún método como DNS o el /etc/hosts local.

# vi /home/condor/condor_config.local
 
    CONDOR_HOST = c-head.micluster.com
 
    SEC_DAEMON_AUTHENTICATION = required
    SEC_DAEMON_AUTHENTICATION_METHODS = password
    SEC_CLIENT_AUTHENTICATION_METHODS = password,fs,gsi,kerberos
    SEC_PASSWORD_FILE = /home/condor/condor_credential
 
    ALLOW_WRITE = *
 
    # UID_DOMAIN = micluster.com
    # FILESYSTEM_DOMAIN = micluster.com
    # DAEMON_LIST = MASTER, SCHEDD

Crear el archivo de credenciales

En el archivo de credenciales se almacena la contraseña de acceso al cluster. Es importante verificar que esta sea la misma que se utilizó durante la configuración del cluster.

# source /home/condor/7.4.4/condor.sh
 
# condor_store_cred -f /home/condor/condor_credential

Iniciar Condor manualmente en la máquina local

# source /home/condor/7.4.4/condor.sh
 
# /home/condor/7.4.4/sbin/condor_master
 
# ps -fea | grep condor
 
    condor    2718     1  4 19:05 ?        00:00:00 /home/condor/7.4.4/sbin/condor_master
    condor    2719  2718  8 19:05 ?        00:00:00 condor_schedd -f
    root      2720  2719  0 19:05 ?        00:00:00 condor_procd -A /tmp/condor-lock.sl-55-x64-general0.119530003824369/procd_pipe.SCHEDD -S 60 -C 501

Enviar un trabajo al cluster

Iniciar sesión con el usuario condor en el nodo de envío de trabajos al cluster.

Crear el archivo de envío de trabajo.

$ vi hostname.submit
 
    executable = /bin/hostname
    universe   = vanilla
    log        = _hostname.log
    output     = _hostname.out
    error      = _hostname.err
 
    should_transfer_files = YES
    when_to_transfer_output = ON_EXIT
 
    queue

Nótese como en este caso, el nodo submitter y el cluster no comparten un sistema de archivos distribuído, motivo por el cual es necesario agregar los parámetros transfer para garantizar la transferencia de los archivos del trabajo.

Enviar el trabajo especificado previamente al cluster.

$ source /home/condor/7.4.4/condor.sh
 
$ condor_submit hostname.submit

Enlaces

Ninguno.

cluster/agregar_nodos_submitter_sl_tgz.txt · Last modified: 2012/02/26 22:35 (external edit)