INGÉNIEUR DE DONNÉES SENIOR
Dans le cadre de ses ententes avec ses différents clients, Procom est actuellement à la recherche d’un Ingénieur de données senior pour une entreprise dans le domaine d’investissement. Notre client est situé à Montréal.
Description des tâches et responsabilités – Ingénieur de données Senior
Les responsabilités du poste incluent :
- Collaborer avec des équipes interfonctionnelles pour comprendre les besoins en données et concevoir des processus ETL efficaces, évolutifs et fiables à l’aide de Python et DataBricks;
- Développer et déployer des jobs ETL extrayant des données de diverses sources et les transformant selon les besoins métiers;
- Prendre en charge l’ensemble du cycle de vie d’ingénierie : extraction, nettoyage, transformation et chargement des données, en veillant à leur exactitude et cohérence;
- Créer et gérer des pipelines de données en assurant la gestion des erreurs, le suivi et l’optimisation des performances;
- Travailler dans un environnement agile : participer aux planifications de sprint, réunions quotidiennes et rétrospectives;
- Réaliser des revues de code, fournir des retours constructifs et faire respecter les normes de codage pour maintenir un haut niveau de qualité;
- Développer et maintenir des outils et scripts d’automatisation pour les tâches répétitives;
- Mettre en œuvre des tests unitaires, d’intégration et autres méthodes de validation pour assurer la fiabilité des processus ETL;
- Utiliser des API REST et d’autres techniques d’intégration pour connecter différentes sources de données;
- Maintenir une documentation complète, incluant des schémas de flux de données, des spécifications techniques et des processus.
Exigences du poste – Ingénieur de données Senior
Maîtrise du langage Python, avec une capacité à écrire un code efficace et maintenable;
Expérience pratique des services cloud, notamment DataBricks, pour construire et gérer des pipelines de données à grande échelle;
- Compétence dans l’utilisation de Snowflake ou d’une solution similaire d’entrepôt de données dans le cloud;
- Solide compréhension des principes ETL, de la modélisation des données, des concepts de data warehousing et des meilleures pratiques d’intégration des données;
- Familiarité avec les méthodologies agiles et aptitude à travailler en collaboration dans un environnement dynamique;
- Expérience avec des outils de gestion de versions de code (ex. : Git);
- Grande attention aux détails et goût prononcé pour la résolution de problèmes;
- Connaissance des systèmes d’exploitation Linux;
- Familiarité avec les API REST et les techniques d’intégration;
- Connaissance d’outils ou bibliothèques de visualisation de données (ex. : Power BI);
- Expérience en administration de bases de données ou en optimisation des performances;
- Familiarité avec des outils d’orchestration de flux de données, comme Apache Airflow;
- Expérience avec les technologies Big Data (ex. : Hadoop, Spark) pour le traitement de grands volumes de données.
SENIOR DATA ENGINEER
As a part of its agreements with its various clients, Procom is currently seeking a Senior Data engineer for a company in the investment sector. Our client is located in Montréal.
Job details – Senior Data engineer
Key responsibilities for this position include:
- Collaborating with cross-functional teams to understand data requirements, and design efficient, scalable, and reliable ETL processes using Python and DataBricks;
- Developing and deploying ETL jobs that extract data from various sources, transforming it to meet business needs;
- Taking ownership of the end-to-end engineering lifecycle, including data extraction, cleansing, transformation, and loading, ensuring accuracy and consistency;
- Creating and manage data pipelines, ensuring proper error handling, monitoring and performance optimizations;
- Working in an agile environment, participating in sprint planning, daily stand-ups, and retrospectives;
- Conducting code reviews, provide constructive feedback, and enforce coding standards to maintain a high quality;
- Developing and maintain tooling and automation scripts to streamline repetitive tasks;
- Implementing unit, integration, and other testing methodologies to ensure the reliability of the ETL processes;
- Utilizing REST APIs and other integration techniques to connect various data sources;
- Maintaining documentation, including data flow diagrams, technical specifications, and processes.
Mandatory Skills – Senior Data engineer
- Proficiency in Python programming, including experience in writing efficient and maintainable code;
- Hands-on experience with cloud services, especially DataBricks, for building and managing scalable data pipelines;
- Proficiency in working with Snowflake or similar cloud-based data warehousing solutions;
- Solid understanding of ETL principles, data modelling, data warehousing concepts, and data integration best practices;
- Familiarity with agile methodologies and the ability to work collaboratively in a fast-paced, dynamic environment;
- Experience with code versioning tools (e.g., Git);
- Meticulous attention to detail and a passion for problem solving;
- Knowledge of Linux operating systems-Familiarity with REST APIs and integration techniques;
- Familiarity with data visualization tools and libraries (e.g., Power BI);
- Background in database administration or performance tuning;
- Familiarity with data orchestration tools, such as Apache Airflow;
- Previous exposure to big data technologies (e.g., Hadoop, Spark) for large data processing.
Linked-in
Google