INGÉNIEUR PRINCIPAL ENTREPÔT DE DONNÉES CLOUD SENIOR

Dans le cadre de ses ententes avec ses différents clients, Procom est actuellement à la recherche d’un ingénieur principal entrepôt de données Cloud Senior pour une entreprise dans le domaine des finances. Notre client est situé à Montréal.
Description des tâches et responsabilités – Ingénieur principal entrepôt de données Cloud Senior

Les responsabilités du poste incluent :

• Concevoir, développer et gérer notre entrepôt de données Snowflake;
• Contribuer à l’établissement des meilleures pratiques pour une utilisation optimale de Snowflake avec des outils comme Airflow, DBT et Spark;
• Participer aux phases de test et de déploiement du framework de pipeline de données, en utilisant des frameworks de test standard et des outils CI/CD;
• Surveiller les performances des requêtes et des chargements de données, et effectuer les ajustements nécessaires;
• Assister durant les phases de QA et UAT, en validant rapidement les problèmes potentiels, en identifiant les causes racines et en proposant des résolutions.

Exigences du poste – Ingénieur principal entrepôt de données Cloud Senior

• Diplôme universitaire en informatique, génie logiciel, technologies de l’information ou domaine connexe;
• Minimum 10 ans d’expérience en développement de solutions dans des environnements de données complexes avec de gros volumes;
• Minimum 7 ans d’expérience en SQL / PLSQL, avec capacité à écrire des requêtes complexes pour l’analyse de données;
• Minimum 5 ans d’expérience en développement sur Snowflake;
• Minimum 3 ans d’expérience dans la conception de pipelines et d’entrepôts de données avec Python (Pandas, NumPy, PySpark, etc.);
• Minimum 3 ans d’expérience dans des environnements hybrides (on-premise et cloud);
• Maîtrise pratique de Python;
• Expérience confirmée avec Airflow (ou outils similaires comme Dagster);
• Certification Snowflake SnowPro Core obligatoire;
• Certifications SnowPro Advanced Architect et Advanced Data Engineer sont un atout;
• Expérience avec DBT souhaitée;
• Compétence en optimisation de performances (requêtes SQL, jobs Spark, procédures stockées);
• Compréhension des modèles de données E-R (conceptuel, logique, physique);
• Connaissances des concepts avancés en entrepôt de données (tables de faits sans faits, modèles temporels/bi-temporels) sont un atout;
• Solides compétences analytiques, capacité à traduire des besoins métier en solutions techniques;
• Excellentes aptitudes en communication orale et écrite, avec capacité à collaborer avec divers groupes techniques et métiers à l’échelle mondiale;
• Autonomie, rigueur, gestion simultanée de projets complexes avec peu de supervision;
• Esprit critique et capacité à clarifier les objectifs, exigences et priorités métier.

SENIOR CLOUD DATA WAREHOUSE ENGINEER

As a part of its agreements with its various clients, Procom is currently seeking a Senior Cloud Data Warehouse Engineer for a company in the finance sector. Our client is located in Montréal.
Job details – Senior Cloud Data Warehouse Engineer

Key responsibilities for this position include:

• To design, develop, and manage our Snowflake data warehouse;
• To contribute towards the establishment of best practices for the optimal and efficient usage of Snowflake with tooling like Airflow, DBT and Spark;
• To assist with the testing and deployment of our data pipeline framework utilizing standard testing frameworks and CI/CD tooling;
• To monitor the performance of queries and data loads and perform tuning as necessary;
• To provide assistance and guidance during the QA & UAT phases to quickly confirm the validity of potential issues and to determine the root cause and best resolution of verified issues.

Mandatory Skills – Senior Cloud Data Warehouse Engineer

• Bachelor’s degree in Computer Science, Software Engineering, Information Technology, or related field required;
• At least 10 years of experience in data development and solutions in highly complex data environments with large data volumes;
• At least 7 years of SQL / PLSQL experience with the ability to write ad-hoc and complex queries to perform data analysis;
• At least 5 years of experience with developing data solutions on Snowflake;
• At least 3 years of data pipelines and data warehousing solutions using Python and libraries such as Pandas, NumPy, PySpark, etc;
• At least 3 years of experience developing solutions in a hybrid data environment (on-Prem and Cloud);
• Hands on experience with Python a must;
• Hands on experience with Airflow (or similar tools like Dagster) a must;
• Snowflake SnowPro Core a must;
• Snowflake SnowPro Advanced Architect and Advanced Data Engineer a plus;
• Hands on experience with DBT a plus;
• Experience with performance tuning SQL queries, Spark job, and stored procedures;
• An understanding of E-R data models (conceptual, logical, and physical);
• Understanding of advanced data warehouse concepts (Factless Fact Tables, Temporal \ Bi-Temporal models, etc.) a plus;
• Strong analytical skills, including a thorough understanding of how to interpret customer business requirements and translate them into technical designs and solutions;
• Strong communication skills both verbal and written. Capable of collaborating effectively across a variety of IT and Business groups, across regions, roles and able to interact effectively with all levels;
• Self-starter. Proven ability to manage multiple, concurrent projects with minimal supervision. Can manage a complex ever changing priority list and resolve conflicts to competing priorities;
• Strong problem-solving skills. Ability to identify where focus is needed and bring clarity to business objectives, requirements, and priorities.

• To design, develop, and manage our Snowflake data warehouse;
• To contribute towards the establishment of best practices for the optimal and efficient usage of Snowflake with tooling like Airflow, DBT and Spark;
• To assist with the testing and deployment of our data pipeline framework utilizing standard testing frameworks and CI/CD tooling;
• To monitor the performance of queries and data loads and perform tuning as necessary;
• To provide assistance and guidance during the QA & UAT phases to quickly confirm the validity of potential issues and to determine the root cause and best resolution of verified issues