El Data Engineer es la persona responsable de lograr que los datos fluyan desde el sistema origen y a través de la Arquitectura de Información, además será responsable de los distintos procesos de transformación y manipulación de los datos; así como también el aseguramiento de la eficiencia y optimización de dichos procesos. Apoyar y automatizar los procesos manuales. Conocimientos: Conocimiento básico en Lenguajes de programación: Python, Scala, Java, SQL (Impala, Drill, Hive, Presto) - Indispensable Python y SQL Conocimiento básico de los componentes de big data (e.g., HDFS, Yarn, MapReduce, Sqoop, Spark streaming, Spark SQL) - Indispensable Conocimiento detallado de lenguajes de scripting en base de datos (e.g., SQL, PL-SQL, T-SQL, U-SQL, Hive, Pig) - Indispensable. Conocimiento básico en bases no relacionales (MongoDB) indispensable Experiencia trabajando con distribuciones de Hadoop (Cloudera, Hortonworks) - Deseable Experiencia con plataformas de base de datos (e.g., Hadoop, Oracle, Teradata, Hive, MongoDB) - Deseable Experiencia en las opciones de performance tuning (e.g., sub-queries vs joins) - Deseable Administración de sistemas Linux – Deseable Funciones: Implementar y configurar las herramientas de Big Data de acuerdo a las mejores prácticas de la organización. Monitorear y optimizar el rendimiento de las estructuras de datos y los queries. Evaluar las herramientas y plataformas de integración, transformación y análisis de los datos. Desarrollar los queries, scripts y procedimientos para cargar, transformar y analizar los datos de acuerdo al caso de uso. Diseñar y desarrollar los procesos de ingesta de datos en la plataforma. Diseñar y desarrollar los procesos de transformación y calidad de datos. Determinar las herramientas adecuadas para lograr mayor efectividad en los procesos. Implementar estrategias para generar código de calidad y buen rendimiento. Beneficios Ingreso a Planilla. Contrato Indefinido Pago de Bonos por Desempeño Pago de Utilidades
Comunidad Darwir Data Science
Forma parte de la comunidad y no te perderas nuestros eventos