Data Engineer - Azure Databricks at NEORIS

, , Mexico -

Full Time

Start Date

Immediate

Expiry Date

27 Feb, 26

Salary

0.0

Posted On

29 Nov, 25

Experience

5 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Skills

Data Engineering, Databricks, Azure Cloud, SQL, Python, Scala, Data Quality, Data Governance, ETL Processes, Data Modeling, Data Lake, Azure Data Factory, Azure SQL Database, Azure DevOps, Problem Solving, Communication

Industry

IT Services and IT Consulting

Description

NEORIS es un acelerador Digital que ayuda a las compañías a entrar en el futuro, teniendo 20 años de experiencia como Socios Digitales de algunas de las mayores compañías del mundo. Somos más de 4,000 profesionales en 11 países, con nuestra cultura multicultural de startup en donde cultivamos innovación, aprendizaje continuo para crear soluciones de alto valor para nuestros clientes. Estamos en búsqueda de Data Engineer - Azure DataBricks Cualificado/a para unirse a nuestro equipo de Datos y Análisis en EE. UU. o Canadá. El/La candidato/a ideal tendrá amplia experiencia en ingeniería de datos, trabajando con Databricks y servicios en la nube de Azure, diseñando e implementando soluciones escalables de datos en la nube de Azure. Desempeñará un papel crucial en el desarrollo, la optimización y el mantenimiento de canalizaciones y arquitecturas de datos, garantizando la calidad y la disponibilidad de datos críticos a través de nuestra plataforma Data Lake. Podrá trabajar de forma independiente o en equipo, con un fuerte deseo de contribuir a la definición de nuestras plataformas y estrategia de Datos y Análisis. Responsabilidades clave Ingeniería de canalizaciones de datos: Diseñar, desarrollar e implementar canalizaciones de datos robustas y escalables utilizando Databricks, integrando datos de diversas fuentes (bases de datos, API, plataformas de streaming, etc.), transformando y limpiando datos mediante SQL o Scala/Python, y cargando datos en los sistemas de destino (data lakes, data warehouses, etc.). Optimizar el rendimiento de las canalizaciones para una mayor eficiencia y rentabilidad. Experiencia en Databricks: Utilice todas las capacidades de la plataforma Databricks, incluyendo Databricks SQL, Delta Lake, Databricks Runtime y Databricks Workflows, para orquestar flujos de trabajo de datos complejos y garantizar la calidad de los datos y la fiabilidad de la canalización. Arquitectura y modelado de datos: Contribuya al diseño e implementación de modelos de datos robustos en el entorno del data lake, garantizando la consistencia, integridad y accesibilidad de los datos para diversos casos de uso. Aseguramiento de la calidad de los datos: Implemente rigurosos controles de calidad de datos y procedimientos de validación en toda la canalización de datos para garantizar una alta precisión y fiabilidad. Cumpla con las políticas de gobernanza de datos y las mejores prácticas. Integración en la nube: Integre Databricks a la perfección con los servicios en la nube de Azure para almacenamiento, computación y seguridad, aprovechando servicios como Azure Data Lake Storage. Aprendizaje continuo: Manténgase al día sobre las últimas características de Databricks, las tecnologías en la nube y las tendencias de ingeniería de datos para mejorar continuamente nuestras soluciones y ofrecer resultados innovadores para nuestro negocio. Colaboración y comunicación: Colaborar estrechamente con analistas de datos, personal de primera línea de TI y las partes interesadas del negocio para comprender sus necesidades de datos y proporcionar experiencia técnica sobre Databricks y las mejores prácticas de ingeniería de datos. Se requiere: Licenciatura/Máster en Informática, Ingeniería (Empresarial) o un máster especializado en Aprendizaje Automático o IA. Experiencia demostrable: Más de 7 años de experiencia en ingeniería de datos con experiencia demostrada en Databricks y un enfoque en Azure Cloud Analytics Services. Dominio de Azure Data Factory y Azure SQL Database adquirido con Azure Data Lake. Más de 5 años de experiencia con Azure DevOps (git) con sólida experiencia en canalizaciones de CI/CD. Conocimiento de las mejores prácticas de gobernanza, calidad y seguridad de datos. Dominio de la nube: Experiencia práctica con la plataforma en la nube de Azure con un buen conocimiento de los servicios e infraestructura de datos cloud. Habilidades de programación: Sólidos conocimientos de programación en SQL, Python o Scala con experiencia en bibliotecas de manipulación de datos (p. ej.,PySpark, Spark SQL). Fundamentos de Datos: Sólida comprensión de los principios de almacenamiento de datos, procesos ETL, técnicas de modelado de datos y sistemas de bases de datos. Experiencia en SQL: Habilidades avanzadas de SQL para consultar, transformar y analizar datos. Habilidades de Comunicación: Excelentes habilidades de comunicación e interpersonales, con capacidad para colaborar eficazmente con partes interesadas, tanto técnicas como no técnicas. Resolución de Problemas: Sólidas habilidades analíticas y de resolución de problemas, con un enfoque proactivo para identificar y resolver desafíos relacionados con los datos. Excelentes habilidades de comunicación en inglés. Ofrecemos: Registro Nominal. Prestaciones de Ley y superiores. Crecimiento y desarrollo constante. Oportunidades de crecimiento Te invitamos a conocernos en http://www.neoris.com, Facebook, LinkedIn, Twitter o Instagram: @NEORIS. Luis Gerardo #LI-LG1

Responsibilities

Design, develop, and implement robust and scalable data pipelines using Databricks, integrating data from various sources. Ensure data quality and reliability through rigorous quality controls and validation procedures.