Microsoft HPC: v.1.0

Microsoft HPC V 1.0 José M. Cámara ([email protected]) Introducción Microsoft HPC (High Performance Computing) es la solución de Microsoft a la computación de alto rendimiento. Está enfocado principalmente a clusters de consumo. Se pretende obtener el máximo rendimiento de los recursos existentes para minimizar la inversión. El sistema es altamente escalable debido a la incorporación de recursos internos y en la nube. El rendimiento del conjunta se ve afectado por la inversión realizada en los distintos subsistemas: hardware de los nodos e interconexión. Arquitectura del cluster Nodo de cabecera Windows Server + HPC Pack Nodos de computación Windows 7, 8, (Pro. Ent.), Server + HPC Pack Estaciones de trabajo Windows 7, 8, (Pro. Ent.), Server + HPC Pack Nodos en la nube Windows Azure WAN LAN / SAN Arquitectura del cluster II • Nodo de cabecera: no tiene especiales características hardware (doble tarjeta de red). • Nodo de computación: dedicado a HPC. • Estación de trabajo: computador de propósito general que ocasionalmente se une al cluster para apoyo a la computación. Se pueden incorporar manualmente o de acuerdo con un horario preconfigurado. • Nodo en la nube: computador virtual contratado con Microsoft. Tipos de nodos • El nodo de cabecera debe está equipado con Windows Server • El resto de nodos admiten la versión de servidor de Windows pero también sistemas operativos convencionales, habitualmente restringidos a versiones: profesional, enterprise o ultimate. • Los nodos en la nube se integran bajo Windows Azure. Sistema operativo • La conexión a los recursos en la nube y/o de gestión remota se realiza a través de una conexión WAN convencional. Obviamente un elevado ancho de banda es deseable. • La conexión a los nodos internos se realiza mediante redes LAN o SAN; la mayoría de las soluciones comerciales son integrables. Los nodos pueden estar interconectados mediante redes privadas, red corporativa o ambas. Arquitectura de red Despliegue del cluster Instalación del servidor Instalación del SO. Configuración del dominio activo. Instalación del paquete de computación. Configuración del nodo de cabecera Definición de la topología del cluster. Configuración de las comunicaciones. Alta de usuarios. Incorporación de nodos Instalación del SO. Incorporación de nodos al dominio. Instalación del paquete de computación. Inclusión de nodos en el cluster. Dominio activo Para que todas las operaciones a realizar en el cluster se puedan llevar a cabo de manera segura, todos los nodos deben pertenecer a un dominio común o a dominios con relaciones de confianza establecidas. El dominio se configura como un nuevo bosque y habitualmente el servidor es promovido a controlador del dominio; a no ser que se emplee otro servidor para esta función. Todos los nodos y usuarios deben pertenecer al dominio para poder ser añadidos al cluster. Paquete de computación El paquete de computación (HPC Pack) es proporcionado por Microsoft de forma gratuita. El mismo paquete permite configurar el nodo de cabecera y las estaciones de trabajo. Al seleccionar el tipo de nodo a incorporar, se determinan las herramientas necesarias. Tanto en el nodo de cabecera como en el resto, deja instalado un grupo de herramientas para gestión del cluster. Topologías Microsoft utiliza este concepto para definir una serie de alternativas de interconexión. No tiene relación con el grafo de la red. Topología 1: los nodos de computación y las estaciones de trabajo se conectan solo a la red privada. Red privada Red corporativa Topología 1: los nodos de computación se conectan a la red privada. Las estaciones de trabajo se conectan a la red corporativa. Topología 2: los nodos de computación se conectan a la red privada y corporativa. Las estaciones de trabajo a ambas o solo a la privada. Topología 3: los nodos de computación se conectan a la red privada y a la de aplicación. Las estaciones de trabajo se conectan a ambas o a la red corporativa. Red de aplicación (SAN) Red corporativa Red corporativa Red corporativa Red corporativa Red privada Red privada Red privada Red privada Topologías II El usuario no está obligado a ajustarse a la configuración real de la red. Puede existir una conexión a la red corporativa pero no ser interesante que las estaciones de trabajo la utilicen. Topología 4: los nodos de computación se conectan a la red corporativa, privada y de aplicación. Las estaciones de trabajo se conectan a todas ellas o solo a la corporativa. Red privada Red corporativa Red de aplicación (SAN) Topología 5: no hay red privada ni de aplicación. Todos los nodos se conectan a la red corporativa. Red corporativa Tipos de tareas •Ejecuta una única instancia de una aplicación serie o paralela. Básica •Ejecuta múltiples instancias de una aplicación. •El número exacto lo determina un parámetro que toma valores diferentes. •El valor del parámetro tiene un significado para cada instancia. Barrido paramétrico •Un comando o “script” para ser ejecutado en cada nodo. •Se ejecuta antes que cualquier otra tarea del trabajo. Preparación de nodo •Un comando o “script” para ser ejecutado en cada nodo. •Se ejecuta cuando el nodo es desasignado al trabajo. Liberación de nodo •Ejecuta un comando o servicio en cada recurso asignado al trabajo. •Si una instancia del comando finaliza y el recurso sigue asignado, una nueva instancia se inicia. Servicio Tipos de trabajos •Es el tipo más general. •Los otros dos pueden ser definidos a partir de él también. •Estos trabajos pueden incluir múltiples tareas y barridos. Trabajo •Pensado para facilitar la configuración de trabajos simples. •Se utiliza para trabajos de una única tarea. Single-task job •Pensado para facilitar la configuración de trabajos simples. •Se utiliza para trabajos con una única tarea paramétrica. Parametric sweep job Propiedades de los trabajos • Identificación numérica del trabajo. •Asignada por el Job Manager. ID del trabajo • Identificación textual del trabajo. • Asignada por el usuario. Nombre del trabajo • Nombre de la plantilla bajo la que se quiere configurar el trabajo. •Las plantillas establecen valores y restricciones por defecto y son creadas por el administrador. Plantilla de trabajo • Valor numérico que establece la prioridad del trabajo. • Varía de 0 a 4000, siendo 4000 la prioridad más alta. Prioridad • Tiempo máximo para completar el trabajo. • Si se supera el trabajo es cancelado. Tiempo de ejecución • Mínima cantidad de memoria necesaria para que un nodo pueda ser asignado. Memoria • Licencias solicitadas por el trabajo. Licencias Aparte del “nombre”, no es obligatorio establecer el resto de propiedades. Hay varias propiedades más. Para una lista completa consultar: https://technet.microsoft.com/es-es/library/ff919649 Envío y monitorización. Envío de trabajos desde el Job Manager. Los trabajos pueden ser creados y enviados desde un nodo a través del Job Manager. Elige el tipo de trabajo y rellena los campos. Define la línea de comandos y los ficheros de salida. Los valores por defecto se pueden respetar si no son necesarios otros. Los trabajos se pueden enviar remotamente. Para ello se debe establecer una conexión de escritorio remoto a uno de los nodos. Una referencia completa de cómo hacer esto está disponible en: https://technet.microsoft.com/en-us/library/gg315415%28v=ws.10%29.aspx Planificación encolada. Principales opciones de planificación encolada. Intenta asignar el mayor número de recursos posibles a los trabajos. Es posible configurar opciones de precedencia. También se puede decidir cómo se ajustan los recursos asignados a los trabajos. Planificación balanceada. Principales opciones de planificación blanceada. Intenta arrancar tantos trabajos como sea posible aunque no pueda asignarles el máximo de recursos. Es posible configurar opciones de precedencia. También se puede ajustar el sesgo aplicado a la prioridad a la hora de asignar nuevos recursos disponibles. El periodo de rebalanceo de recursos es también configurable. Referencias •Cluster network topologies: https://technet.microsoft.com/enus/library/gg145543.aspx •Node management: https://technet.microsoft.com/es-es/library/ff919378 •Managing cluster users: https://msdn.microsoft.com/enus/library/ff919335.aspx •New cluster user roles: http://blogs.technet.com/b/windowshpc/archive/2013/09/04/hpc-pack2012-sp1-available.aspx •Job scheduler: https://technet.microsoft.com/es-es/library/ff919436 •Job manager: https://technet.microsoft.com/es-es/library/ff919691