Table of Contents
Agregar nodos de envío de trabajos al cluster utilizando Ubuntu Linux y el paquete .tgz
Control de versiones
| Fecha | Actividad | Autor |
|---|---|---|
| 02/12/2010 | Publicación inicial | Jorge Iván Meza Martínez. |
Introducción
En esta sección se describe la instalación y configuración de un nodo facultado para enviar trabajos (submitter) al cluster utilizando GNU/Linux Ubuntu a partir de la distribución original de Condor en formato .tgz que puede descargarse desde su sitio web.
Precondición
- El cluster se encuentra instalado y funcionando.
- El cluster cuenta con al menos el nodo principal (
c-head) y al menos un nodo trabajador (c-wn1).
Supuestos
- El nodo submitter a instalarse se encuentra autorizado para enviar trabajos al cluster. Para esto verificar la variable
HOSTALLOW_WRITE(machines permitted to submit jobs to this pool) en la configuración del cluster.
Instalar los paquetes necesarios
Instalar la herramienta para el envío y consulta de correos desde línea de comando mail.
$ sudo aptitude install mailutils
Crear el usuario Condor
El usuario condor será el encargado de ejecutar los demonios de Condor en la máquina local. Para evitar problemas de permisos en el sistema de archivos su UID y GID deberán corresponder con los del usuario condor del cluster, en este caso, con los existentes en c-head.
$ sudo groupadd -g 501 condor $ sudo useradd -c "Usuario Condor" -d /home/condor -m condor -s /bin/bash -u 501 -g 501 $ sudo passwd condor
Obtener y descomprimir la distribución Condor
En este capítulo se utiliza la distribución .tgz de Condor que se obtiene desde su sitio web. Para GNU/Linux Ubuntu se recomienda que obtenga la distribución dinámica para Debian Intel x86 o Debian Intel x86/64 según sea la arquitectura objetivo.
$ tar zxvf condor-*-linux-x86_64-debian50-dynamic.tar.gz $ cd condor-*
Instalar Condor
La distribución para nodo de envío de trabajos de Condor se instalará en esta caso bajo /home/condor/7.4.4 y su directorio de archivos local será /home/condor.
$ sudo ./condor_install --prefix=/home/condor/7.4.4 --local-dir=/home/condor --type=submit --owner=condor
Configurar el nodo
Agregar la siguiente información al archivo de configuración local (condor_config.local) de Condor y verifique los valores de las variables comentadas.
La ubicación del nodo principal del cluster, c-head en este caso, debe ser resuelto por algún método como DNS o el /etc/hosts local.
$ su - condor $ sudo vi /home/condor/condor_config.local CONDOR_HOST = c-head.micluster.com SEC_DAEMON_AUTHENTICATION = required SEC_DAEMON_AUTHENTICATION_METHODS = password SEC_CLIENT_AUTHENTICATION_METHODS = password,fs,gsi,kerberos SEC_PASSWORD_FILE = /home/condor/condor_credential ALLOW_WRITE = * # UID_DOMAIN = micluster.com # FILESYSTEM_DOMAIN = micluster.com # DAEMON_LIST = MASTER, SCHEDD
Crear el archivo de credenciales
En el archivo de credenciales se almacena la contraseña de acceso al cluster. Es importante verificar que esta sea la misma que se utilizó durante la configuración del cluster.
$ source /home/condor/7.4.4/condor.sh $ condor_store_cred -f /home/condor/condor_credential
Iniciar Condor manualmente en la máquina local
$ source /home/condor/7.4.4/condor.sh $ /home/condor/7.4.4/sbin/condor_master $ ps -fea | grep condor condor 1732 1 9 22:03 ? 00:00:00 /home/condor/7.4.4/sbin/condor_master condor 1733 1732 12 22:03 ? 00:00:00 condor_schedd -f condor 1734 1733 0 22:03 ? 00:00:00 condor_procd -A /tmp/condor-lock.sandbox-ubuntuserver0.232222090083273/procd_pipe.SCHEDD -S 60 -C 501
Enviar un trabajo al cluster
Iniciar sesión con el usuario condor en el nodo de envío de trabajos al cluster.
Crear el archivo de envío de trabajo.
$ vi hostname.submit executable = /bin/hostname universe = vanilla log = _hostname.log output = _hostname.out error = _hostname.err should_transfer_files = YES when_to_transfer_output = ON_EXIT queue
Nótese como en este caso, el nodo submitter y el cluster no comparten un sistema de archivos distribuído, motivo por el cual es necesario agregar los parámetros transfer para garantizar la transferencia de los archivos del trabajo.
Enviar el trabajo al cluster.
$ source /home/condor/7.4.4/condor.sh $ condor_submit hostname.submit
Enlaces
Ninguno.