Diseño, Arquitectura y Procedimientos de GRIDIMadrid

Un Grid es un sistema distribuido no sujeto a un control centralizado; basado en interfaces y protocolos de propósito general y abiertos; y que es capaz de satisfacer determinados niveles de calidad de servicio en términos de seguridad, productividad del sistema, o el uso coordinado de diferentes tipos de recursos (hardware o software).

Este documento describe los procedimientos y guía de “buenas prácticas” necesarios para construir en la Comunidad de Madrid un Grid de investigación. Esta iniciativa tiene como objetivo inicial unir recursos distribuidos geográficamente para que los grupos e instituciones participantes tengan un banco de pruebas donde realizar investigación en cualquiera de las áreas temáticas asociadas a la tecnología Grid.

Dada la naturaleza de una tecnología emergente, como la tecnología Grid, este documento no incluye el diseño final de la infraestructura sino la arquitectura de un primer prototipo. Las experiencias de los primeros usuarios, las futuras versiones del middleware básico que se empleará y la evolución de los objetivos de esta iniciativa; implicarán hacer revisiones periódicas de estas políticas y guía de “buenas prácticas”.

Los integrantes de esta iniciativa no pretenden, debido a la limitada disponibilidad del personal y recursos hardware dedicados, dar servicio técnico ni comprometer totalmente el uso de su infraestructura. Sin embargo, en este documento se establecen procedimientos que permiten la resolución de problemas técnicos y la reserva excepcional de los recursos del Grid.

1. Establecer una infraestructura Grid de investigación en el ámbito de la Comunidad de Madrid, que a su vez proporcione tránsito hacia otras infraestructuras Grid nacionales e internacionales.
2. Fomentar la colaboración entre las instituciones, los proyectos de investigación y las redes temáticas relacionadas con la investigación en tecnología Grid y migración de aplicaciones.

• GRIDIMadrid: Conjunto de recursos hardware y software; políticas y procedimientos; y usuarios que conforman el Grid de investigación de la Comunidad de Madrid.

• Centro, Institución o Sitio: Grupo de usuarios y recursos hardware y software que pertenecen a un mismo Centro o Institución con autonomía sobre los recursos que gestionan.

• Coordinador: El coordinador pertenecerá al Comité Ejecutivo, es responsable de recibir las solicitudes de ingreso de nuevas instituciones y de convocar reuniones del Comité Ejecutivo.

• Comité Ejecutivo: Comité encargado de tomar decisiones sobre el futuro del Grid. Este comité está formado por el Coordinador, el Coordinador de operaciones y una serie de representantes seleccionados por los centros participantes.

• Coordinador de Operaciones: El coordinador de operaciones es el responsable de mantener actualizadas las políticas, procedimientos y protocolos de GRIDIMadrid; y mantener actualizada la lista de Centros y usuarios de GRIDIMadrid.

• Representante del Centro, Institución o Sitio: Responsable de realizar las comunicaciones con los Representantes de los diferentes Centros o Instituciones y con el Coordinador del Grid. Adicionalmente pertenecerá al Comité Ejecutivo. Cada Centro podrá proponer un suplente del Representante.

• Responsable de Operaciones del Centro, Institución o Sitio: Responsable de la infraestructura hardware y software de un Centro o Institución. Los Responsables de Operaciones de los Centros son los encargados de los procedimientos operativos de GRIDIMadrid, estableciendo además entre ellos un canal de comunicación que permita la solución de problemas.

• Usuario de un Centro, Institución o Sitio: Únicamente se comunicará con el Responsable de Operaciones de su Centro para tramitar solicitudes relativas al Grid, por ejemplo instalación de software, reserva de recursos, comunicación de problemas con máquinas de otros centros, etc. Adicionalmente podrá usar los medios que se describen en este documento para realizar consultas técnicas.

• Nombre del Centro, Institución o Sitio: Una única palabra que identifica cada centro o institución. Es el modo principal de diferenciar máquinas y usuarios en el Grid. La elección de esta palabra será elegida por la entidad competente de cada centro según las políticas definidas por las políticas de la Autoridad de Certificación de IRISGrid (http://www.irisgrid.es/pki/).

• Nombre de Máquina: Es el nombre FQDN (Full-Qualified Domain Name) del sistema.

• Certificados: Son las credenciales X509 de servicios, máquinas, usuarios, Representantes y Coordinador, sujetas a las políticas fijadas por la Autoridad de Certificación de IRISGrid.

• Entidad de Certificación (IRISGrid CA): Encargada de firmar los certificados de servicios, máquinas, usuarios, Representantes y Coordinador de los diferentes centros e instituciones.

El Globus Toolkit es una colección de componentes software, APIs y librerías que permiten la creación y ejecución de aplicaciones distribuidas, y la construcción de un Grid. Actualmente, Globus se ha convertido en el estándar de facto para la computación distribuida y será el soporte sobre el que se desarrollará GRIDIMadrid. Globus consta de tres componentes fundamentales: gestión de recursos, servicio de información y gestión de datos; todos ellos construidos sobre una infraestructura de seguridad basada en certificados.

Los componentes anteriores, ya sea de forma independiente o conjunta, facilitan el acceso transparente y seguro a recursos distribuidos geográficamente en diferentes dominios de administración. Debido al soporte limitado que prevé ofrecer el equipo de Globus para las versiones del Globus Toolkit basado en componentes pre-WS (Web Services); GRIDIMadrid se construirá con la versión 4 del Globus Toolkit.

En el resto de este documento cualquier indicación sobre la configuración del sistema hace referencia a la versión GT4. Ver la guía de administración del Globus Toolkit 4 para más detalles sobre los requisitos de la instalación, configuración y componentes (http://www.globus.org/toolkit/docs/4.0/admin/docbook/).

Los servicios WSRF (Web Services Resource Framework) del Globus Toolkit se despliegan por defecto en un contenedor de aplicaciones propio que atiende peticiones en el puerto 8443. De esta forma, todas las máquinas de GRIDIMadrid deben garantizar el acceso desde el exterior a este puerto. Nota: un cluster únicamente debe garantizar el acceso a cualquier servicio del Grid, en el front-end, y no en cada uno de los nodos computacionales del cluster, que en general se sitúan en una red privada.

El acceso a los servicios de cada recurso se controla mediante el archivo /etc/grid-security/grid-mapfile, que consiste en una serie de asignaciones entre el subject (DN) del certificado de un usuario del Grid que puede usar el recurso, y un usuario local. Cada uno de los Centros o Instituciones, atendiendo a su propia política de administración podrá restringir el acceso de los usuarios a sus recursos locales.

Inicialmente se desplegará un solución que gestiona de forma centralizada y en un nivel la autorización de los usuarios. GRIDIMadrid mantendrá actualizado un archivo grid-mapfile público (http://www.gridimadrid.org/grid-mapfile) que deberá instalarse en los recursos de GRIDIMadrid. La asignación de los DNs de los certificados se realizará cíclicamente en las cuentas de usuario grid00, grid01, grid02 y grid03. En general, no debe perimitirse el acceso a los recursos de GRIDIMadrid desde estas cuentas.

La arquitectura de gestión de recursos de Globus permite el acceso transparente, unificado y seguro a los distintos gestores de recursos locales de cada organización virtual (PBS, Condor, LSF, SGE). Los principales componentes de esta arquitectura son: el lenguaje de especificación de recursos (RSL) y el gestor de asignación de recursos (GRAM).

Excepcionalmente, se realizará la instalación de la versión pre-WS del servicio GRAM. La configuración por defecto de del servicio pre-WS GRAM (gatekeeper) se asigna al puerto 2119, todas las máquinas de GRIDIMadrid deben garantizar el acceso desde el exterior a este puerto.

El servidor GridFTP es un protocolo de transferencia de ficheros, seguro y de alto rendimiento, basado en el protocolo FTP y que constituye el pilar básico de la gestión de datos en el Globus Toolkit. El servicio GridFTP se asigna por defecto al puerto 2811, de nuevo todas las máquinas de GRIDIMadrid deben garantizar el acceso a este servicio desde el exterior. Por otro lado debe desplegarse (configuración por defecto) el Servicio de Transferencia Fiable de Ficheros (RFT) que añade fiabilidad y robustez a las transferencias realizadas mediante GridFTP.

El sistema de información de Globus es el Metacomputing Directory Service (MDS), que es un conjunto de servicios web (Index Service y Trigger Service) para la monitorización y descubrimiento de recursos de un Grid. El sistema MDS permite agregar la información (Aggregator Framework) de diversas fuentes, a saber: propiedades de recursos de servicios WSRF; información arbitraria generada por un monitor; e información específica de sistemas de monitorización de terceros (Ganglia y Hawkeye).

GRIDIMadrid dispone de una infraestructura jerárquica de información. Cada uno de los Centros debe establecer un servidor de información permanente y “bien conocido” que albergue un servicio índice (DefaultIndexService) que agregará la información de todos los recursos de ese Centro. Adicionalmente, se configurará un servidor (que será albergado por RedIRIS) como nodo raíz para el acceso superior al sistema de información, donde se registrarán los servidores de información de cada uno de los centros (ver Figura 1).

Figura 1: Estructura jerárquica del servicio de información (MDS) de GRIDIMadrid.

Adicionalmente, GRIDIMadrid establecerá mecanismos para la consulta en línea del estado de sus recursos en su página web. Inicialmente se desplegará la aplicación WebMDS, que permite realizar consultas básicas al servicio de información.

La versión inicial de GRIDIMadrid no exigirá la instalación de otros servicios. Sin embargo, según las necesidades de los Centros, GRIDIMadrid establece un procedimiento para solicitar la instalación de componentes adicionales. Además, el Comité Ejecutivo podrá decidir, según los intereses y necesidades de los Centros de GRIDIMadrid, la instalación permanente de otros servicios no contemplados en este documento.

La autorización para usar los sistemas de un Centro o Institución es siempre decisión de los propios Centros o Instituciones. GRIDIMadrid permitirá a un usuario emplear potencialmente los sistemas del Grid por medio de su certificado. Sin embargo, en último término un Centro o Institución podrá denegar de forma autónoma, temporal o permanentemente, el uso de sus recursos a cualquier usuario.

Cualquier centro o institución público de la Comunidad Autónoma de Madrid puede ser miembro de pleno derecho de GRIDIMadrid. Sin embargo, es necesario establecer unos requisitos mínimos para garantizar la disponibilidad del servicio. Así, formar parte de GRIDIMadrid conllevará la responsabilidad de satisfacer los siguientes requisitos:

1. Posibilidad de solicitar certificados a la Autoridad de Certificación de IRISGrid
2. Establecer un Representante del Centro o Institución con competencia sobre la infraestructura hardware de este Centro
3. Establecer un Responsable de Operaciones del Centro o Institución
4. Configurar un Servicio Índice de Información que agregará la información de los recursos del Centro

GRIDIMadrid no está en condiciones de proporcionar servicio técnico sobre middleware Grid, por tanto los Sitios deberán contar con un personal experimentado en este campo. Sin embargo se establecen procedimientos de soporte técnico ofrecido por la “comunidad”.

La solicitud de adhesión de cualquier otro organismo público o privado seguirá los procedimientos y cumplirá los requisitos descritos en este documento; y su idoneidad será evaluada por el Comité Ejecutivo de GRIDIMadrid. Estos centros no tendrán representación en el Comité Ejecutivo.

No se establece ningún requisito en las prestaciones de los recursos ni en el compromiso o disponibilidad que de estos se hace. Todo recurso que se una a GRIDIMadrid debe tener un certificado válido y el middleware Grid descrito previamente correctamente configurado.

El único requisito que se exige es la pertenencia a algún Centro o Institución de GRIDIMadrid y estar en posesión de un certificado válido.

Las instituciones o centros que deseen participar en la iniciativa deben:

1. Si el Centro o Institución no dispone de una Autoridad de Registro (RA) de IRISGrid, deberá solicitar su creación según las políticas y procedimientos de la Autoridad de Certificación de IRISGrid (http://www.irisgrid.es/pki/).
2. El Representante del nuevo Centro deberá enviar un correo electrónico firmado con su certificado de IRISGrid al Coordinador de GRIDIMadrid (coordinador@gridimadrid.org). Este mensaje debe incluir:
   • Nombre, teléfono y dirección de correo electrónico del Representante.
   • Nombre, teléfono y dirección de correo electrónico del Responsable de Operaciones.
   • Breve descripción de las actividades que realizarán en GRIDIMadrid.
3. El Coordinador de GRIDIMadrid verificará que el centro satisface los requisitos antes mencionados. Si el Centro o Institución no es un organismo público de la Comunidad Autónoma de Madrid, pedirá Comité Ejecutivo que evalúe la solicitud y comunicará la decisión del Comité en el plazo máximo de dos semanas.
4. El Coordinador notificará al Coordinador de Operaciones (operaciones@gridimadrid.org) la adhesión del nuevo miembro, y éste la publicará en la página Web de GRIDIMadrid y lo comunicará por correo electrónico a todos los Responsables de Operaciones de GRIDIMadird.

Cualquier Centro o Institución de GRIDIMadrid puede añadir un recurso en cualquier momento si éste cuenta con un certificado válido y el middleware Grid descrito previamente está correctamente configurado.

Los usuarios de un Centro o Institución de GRIDIMadrid seguirán los siguientes pasos para darse de alta:

1. Solicitar un certificado a la Autoridad de Certificación de IRISGrid, si no poseen uno.
2. Enviar un correo electrónico firmado digitalmente al Responsable de Operaciones de su Centro en el que se solicite el alta como usuario. Este correo debe incluir el DN del certificado que el usuario utilizará en GRIDIMadrid.
3. Cumplimentar el formulario del Apéndice A y enviarlo al Responsable de Operaciones de su Centro.
4. El Responsable de Operaciones del Centro comunicará mediante un correo electrónico firmado el alta del nuevo usuario al Coordinador de Operaciones de GRIDIMadrid.
5. El Coordinador de Operaciones se responsabilizará de actualizar el fichero de autorización centralizado en el plazo máximo de una semana.

Los usuarios podrá solicitar configuraciones especiales de GRIDIMadrid, como por ejemplo uso exclusivo de recursos o la instalación de nuevos servicios, para ello:

1. Enviarán un correo electrónico al Responsable de Operaciones de su Centro en el que se describa la configuración que solicita. Esta descripción incluirá en todo caso:
   • su finalidad e interés
   • los recursos afectados por la solicitud
   • el periodo que deberá mantenerse la nueva configuración.
2. El Responsable de Operaciones del Centro comunicará mediante un correo electrónico firmado la solicitud al resto de Responsables de Operaciones de GRIDIMadrid.
3. Cada Responsable de Operaciones evaluará la petición y comunicará su resolución al Responsable de Operaciones del Centro que realiza la solicitud en el plazo de máximo de una semana.

GRIDIMadrid mantendrá enlaces y medios de comunicación que permitirán a los usuarios poner en común sus experiencias dudas y comentarios sobre la gestión, uso y funcionamiento de GRIDIMadrid. En particular:

• Página WEB oficial de GRIDIMadrid: http://www.gridimadrid.org/
• Blog de GRIDIMadrid: http://weblogs.madrimasd.org/gridimadrid/

El siguiente apartado describe las reglas de uso para los recursos informáticos (computadores, servidores, dispositivo de red, programas, base de datos, sistema de almacenamiento, etc) dentro de GRIDIMadrid. El objetivo de este apartado es asegurar que todos los usuarios del Grid usan los recursos de un modo efectivo, eficiente, ético y dentro del marco legal actual.

• Las cuentas sólo se pueden utilizar para el propósito para el cual fueron solicitadas y nunca se podrán utilizar para actividades no relacionadas con la investigación.
• Los usuarios son los responsables de proteger la información que tienen dentro de sus cuentas, por ejemplo ficheros fuente sobre los que se trabaja temporalmente en caso de un proyecto confidencial. Esta protección implica tanto evitar que sea leída, como modificada o borrada.
• Los usuarios deberán informar al Representante de su Centro cualquier vulnerabilidad que observen.
• Los usuarios no deberán intentar acceder ni a información ni a sistemas para los cuales no se les ha dado permiso explícito.
• Esta terminantemente prohibido hacer copias de software propietario protegido con copyright, excepto si hay permiso del propietario del copyright.
• El usuario no puede copiar ni transmitir por la red ficheros de configuración del sistema (por ejemplo /etc/passwd).
• El usuario no debe realizar acciones que molesten innecesariamente a otros usuarios, degraden el rendimiento de los sistemas, o circunvalen mecanismos de seguridad o auditoría.
• No se podrá enviar ni almacenar dentro de los equipos información fraudulenta u obscena.
• El usuario no podrá bajar de la red ni instalar herramientas relacionadas con seguridad que revelen vulnerabilidades en los sistemas.
• En caso de detectar incidencias de seguridad se deberá informar rápidamente a su Administrador, y éste al Representante del centro o institución donde se detectaron las incidencias.

El no cumplimiento de alguna de estas reglas constituirá una violación de la seguridad y la baja permanente en GRIDIMadrid; y en función de su importancia incluso actuaciones legales.