Big Data Engineer

at  IDS Comercial SA de CV

Requisitos:

• Ingles avanzado
• +5 años de experiencia en desarrollo de BIG data
• Experiencia con Python para escribir canalizaciones de datos y capas de procesamiento de datos
• Amplia experiencia y manejo SQL, optimizadas para la transformación de datos y la implementación de reglas comerciales.
• Demuestra experiencia actualizada en ingeniería de datos y desarrollo de canales de datos complejos.
• Experiencia en modelos ágiles
• Diseñar, desarrollar, implementar y ajustar sistemas y canalizaciones distribuidos a gran escala que procesen grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.
• Experiencia con Java, Python para escribir canalizaciones de datos y capas de procesamiento de datos.
• Experiencia en Airflow y Github.
• Experiencia en redacción de trabajos de reducción de mapas.
• Demuestra experiencia en la redacción de consultas complejas y altamente optimizadas en grandes conjuntos de datos.
• Experiencia laboral comprobada con tecnologías de Big Data Hadoop, Hive, Kafka, Presto, Spark, HBase.
• Altamente competente en SQL.
• Experiencia con Tecnologías en la Nube (GCP)
• Experiencia con modelo relacional, almacenes de datos de memoria deseables (Oracle, Cassandra, Druid)
• Proporciona y respalda la implementación y las operaciones de los canales de datos y soluciones analíticas.
• Experiencia en ajuste del rendimiento de sistemas que trabajan con grandes conjuntos de datos.
• Experiencia en servicio de datos REST API – Consumo de Datos
• Experiencia trabajando con almacenamiento distribuido de objetos en entornos de nube.
• Experiencia laboral con Big Data Technologies Hadoop, Hive, Kafka, Presto, Spark, HBase, Automic y Aorta

Actividades

• Capacidad para guiar a los equipos de ingeniería de datos.
• Capacidad para comprender los requisitos finales y analizar las soluciones de principio a fin.
• Demuestra experiencia actualizada en ingeniería de datos, desarrollo de canalizaciones de datos complejas
• Diseñar, desarrollar, implementar y ajustar sistemas distribuidos a gran escala y canalizaciones que procesan grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.

Habilidades blandas
1. Comunicación: puede explicar problemas de ingeniería con socios y universidades, escribir documentación fácil de entender y utilizar eficazmente los diferentes
2. Trabajo en equipo: Integración colaborativa con diferentes áreas para resolver desafíos de datos ejecutando reuniones multifuncionales efectivas, dando y recibiendo retroalimentación

Please refer the Job description for details