Pessoa Engenheira de Dados at Zup Innovation

Hamburg, , Germany -

Full Time

Start Date

Immediate

Expiry Date

04 Feb, 26

Salary

0.0

Posted On

06 Nov, 25

Experience

5 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Skills

Python, Spark, PySpark, AWS, Glue, Lambda, Step Functions, Athena, S3, Terraform, SQL, Data Pipelines, CI/CD, Version Control, CloudWatch, Athena Tuning

Industry

IT Services and IT Consulting

Description

Nosso propósito é criar tecnologias que desafiam as melhores do mundo e mudam o jogo para nossos clientes. Por isso, buscamos profissionais que desejam fazer parte de uma cultura pautada pela excelência e inovação. Se você se identifica com um ambiente de trabalho colaborativo e movido por curiosidade, venha construir o futuro da tecnologia conosco. Você fará parte de uma frente estratégica de modernização de todo o fluxo de fechamento gerencial — migrando mais de 3 mil rotinas mainframe para uma arquitetura moderna em AWS, que processa hoje cerca de 3 bilhões de registros mensais. O desafio é construir pipelines escaláveis, resilientes e tempestivos, garantindo performance e governança em ambiente crítico. O que você fará por aqui Projetar e desenvolver pipelines de dados escaláveis em AWS (Glue, Lambda, Step Functions, Athena, S3). Modelar e otimizar jobs Spark para alto volume de dados. Implementar testes automatizados (pytest, mocks) e boas práticas de engenharia. Escrever infraestrutura como código (Terraform, IAM, CI/CD). Monitorar e otimizar custos e performance (CloudWatch, Athena Tuning). Trabalhar junto a times de arquitetura e engenharia para modernizar legados de mainframe. O que esperamos que você saiba Experiência sólida com Python (scripts, módulos, testes unitários). Experiência comprovada com Spark/PySpark (Glue/EMR). AWS: Glue, Lambda, Step Functions, Athena, S3 (domínio prático). Infraestrutura como código: Terraform. Vivência com pipelines de alto volume (centenas de milhões/bilhões de registros). Boas práticas de engenharia de software (testes, CI/CD, versionamento). SQL avançado e tuning de queries no Athena. Diferenciais Experiência em projetos de migração de mainframe ou ETL legados. Participação em desenho de arquitetura e decisões técnicas. Certificação AWS Data Analytics / Solutions Architect. Experiência com Databricks ou Glue Studio. Vivência em ambientes críticos de negócio (fechamento contábil, financeiro). O que te oferecemos Atuamos em um modelo de trabalho remoto por padrão, priorizando a sua liberdade e responsabilidade. Além disso, proporcionamos: Carreira Liberdade para trabalhar de onde quiser Horários flexíveis Auxílio Educação Ferramenta própria de desenvolvimento de carreira Guildas internas e grupos de estudo e interesse Saúde e bem-estar Plano de saúde Plano odontológico Parceria na compra de medicamentos Telemedicina disponível 24x7 Terapia online gratuita Wellhub Licença maternidade estendida Licença paternidade estendida CAZ – Central de Atendimento a zuppers Conforto financeiro Vale-refeição e alimentação Seguro de vida Vale-transporte Auxílio home office Auxílio Creche Auxílio plano telefônico Participação em Lucros e Resultados

Responsibilities

You will design and develop scalable data pipelines in AWS and optimize Spark jobs for high data volumes. Additionally, you will work with architecture and engineering teams to modernize mainframe legacies.