Pleno Data Engineer (AWS e DataBricks) at Keyrus Portugal

São Paulo, São Paulo, Brazil -

Full Time

Start Date

Immediate

Expiry Date

24 Aug, 26

Salary

0.0

Posted On

26 May, 26

Experience

2 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Skills

Python, Apache Spark, Databricks, Spark SQL, Structured Streaming, Git, Delta Lake, Data Pipelines, Data Quality, AWS, ETL/ELT, Agile Methodologies

Industry

Information Technology & Services

Description

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa. Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco. Papéis e Responsabilidades: Desenvolver e manter pipelines de ingestão de dados utilizando Autoloader (incremental, schema evolution e otimização de throughput). Processar dados em larga escala utilizando Spark Structured Streaming e Spark SQL. Aplicar boas práticas de engenharia de dados, incluindo particionamento e otimizações com Delta Lake. Realizar análise e otimização de performance e custos em ambientes Databricks. Implementar processos de Data Quality para garantir confiabilidade dos dados. Utilizar Git para controle de versionamento, incluindo pull requests e boas práticas de desenvolvimento colaborativo. Criar documentação técnica clara e organizada das soluções implementadas. Colaborar com times de negócio, analytics e tecnologia para garantir que os dados estejam estruturados, acessíveis e seguros. Qualificações Essenciais: Experiência com engenharia de dados e processamento de grandes volumes de dados. Conhecimento em Python, Apache Spark e Databricks. Experiência na construção e manutenção de pipelines de dados escaláveis. Conhecimento em Spark SQL e Structured Streaming. Experiência com versionamento de código utilizando Git. Experiência com análise, melhoria e otimização de custos e performance em Databricks. Serão considerados Diferenciais: Experiência com metodologias ágeis (Scrum, Kanban, entre outras). Conhecimento em arquitetura de dados moderna e melhores práticas de ETL/ELT. Perfil autogerenciável, com forte capacidade de resolução de problemas e tomada de decisão em ambientes complexos. Interesse em novas tecnologias e inovação em soluções de dados. Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade. Vem fazer parte do Time Keyrus! Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/ Desejamos boa sorte! 😊🚀

Responsibilities

Develop and maintain scalable data ingestion pipelines using Autoloader and Spark Structured Streaming. Optimize performance and costs within Databricks environments while ensuring data quality and technical documentation.