Cursos de Capacitación de Administrador para Apache Hadoop

1: HDFS (17%)

• Describir la función de Daemons HDFS
• Describir el funcionamiento normal de un clúster Apache Hadoop, tanto en el almacenamiento de datos como en el procesamiento de datos.
• Identificar las características actuales de los sistemas informáticos que motivan un sistema como Apache Hadoop.
• Clasifique los objetivos principales del diseño de HDFS
• Dado un escenario, identifique el caso de uso apropiado para la Federación HDFS
• Identificar los componentes y el daemon de un clúster HDFS HA-Quorum
• Analizar el papel de la seguridad HDFS (Kerberos)
• Determinar la mejor opción de serialización de datos para un escenario dado
• Describir rutas de lectura y escritura de archivos
• Identificar los comandos para manipular archivos en el Shell del sistema de archivos Hadoop

2: YARN y MapReduce versión 2 (MRv2) (17%)

• Comprender cómo la actualización de un clúster de Hadoop 1 a Hadoop 2 afecta a la configuración del clúster
• Entender cómo implementar MapReduce v2 (MRv2 / YARN), incluyendo todos los daemons YARN
• Entender la estrategia básica de diseño de MapReduce v2 (MRv2)
• Determinar cómo YARN gestiona las asignaciones de recursos
• Identificar el flujo de trabajo de MapReduce que se ejecuta en YARN
• Determine qué archivos debe cambiar y cómo migrar un clúster de MapReduce versión 1 (MRv1) a MapReduce versión 2 (MRv2) que se ejecuta en YARN.

3: Hadoop Cluster Planning (16%)

• Principales puntos a considerar al elegir el hardware y los sistemas operativos para alojar un clúster Apache Hadoop.
• Analizar las opciones al seleccionar un sistema operativo
• Comprender la afinación del núcleo y el intercambio de discos
• Dado un escenario y un patrón de carga de trabajo, identifique una configuración de hardware adecuada al escenario
• Dado un escenario, determine los componentes del ecosistema que su clúster necesita ejecutar para cumplir con el SLA
• Dimensionamiento del clúster: dado el escenario y la frecuencia de ejecución, identifique los detalles de la carga de trabajo, incluyendo CPU, memoria, almacenamiento, E / S de disco
• Tamaño y configuración del disco, incluidos JBOD frente a RAID, SAN, virtualización y requisitos de tamaño de disco en un clúster
• Topologías de red: comprender el uso de la red en Hadoop (para HDFS y MapReduce) y proponer o identificar componentes clave de diseño de red para un escenario dado

4: Instalación y administración de clústeres Hadoop (25%)

• Dado un escenario, identifique cómo el clúster manejará fallas de disco y máquina
• Analizar una configuración de registro y registrar el formato de archivo de configuración
• Comprender los conceptos básicos de las métricas de Hadoop y el monitoreo de la salud de los clústeres
• Identificar la función y el propósito de las herramientas disponibles para el monitoreo de clusters
• Ser capaz de instalar todos los componentes del ecosistema en CDH 5, incluyendo (pero no limitado a): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive y Pig
• Identificar la función y el propósito de las herramientas disponibles para administrar el sistema de archivos Apache Hadoop

5: Gestión de recursos (10%)

• Entender los objetivos generales de diseño de cada uno de los planificadores de Hadoop
• Dado un escenario, determine cómo el Planificador FIFO asigna recursos de clúster
• Dado un escenario, determine cómo el planificador justo asigna los recursos del clúster bajo YARN
• Dado un escenario, determine cómo el Programador de capacidad asigna recursos de clúster

6: Monitoreo y registro (15%)

• Comprender las funciones y características de las capacidades de recopilación de métricas de Hadoop
• Analizar las interfaces de usuario de Web de NameNode y JobTracker
• Entender cómo supervisar demonios de clúster
• Identificar y supervisar el uso de la CPU en los nodos maestros
• Describir cómo supervisar la asignación de intercambio y memoria en todos los nodos
• Identificar cómo ver y administrar los archivos de registro de Hadoop
• Interpretar un archivo de registro