INGÉNIEUR PRINCIPAL ENTREPÔT DE DONNÉES CLOUD SENIOR
Dans le cadre de ses ententes avec ses différents clients, Procom est actuellement à la recherche d’un ingénieur principal entrepôt de données Cloud Senior pour une entreprise dans le domaine des finances. Notre client est situé à Montréal.
Description des tâches et responsabilités – Ingénieur principal entrepôt de données Cloud Senior
Les responsabilités du poste incluent :
- Concevoir, développer et gérer notre entrepôt de données Snowflake;
- Contribuer à l’établissement des meilleures pratiques pour une utilisation optimale de Snowflake avec des outils comme Airflow, DBT et Spark;
- Participer aux phases de test et de déploiement du framework de pipeline de données, en utilisant des frameworks de test standard et des outils CI/CD;
- Surveiller les performances des requêtes et des chargements de données, et effectuer les ajustements nécessaires;
- Assister durant les phases de QA et UAT, en validant rapidement les problèmes potentiels, en identifiant les causes racines et en proposant des résolutions.
Exigences du poste – Ingénieur principal entrepôt de données Cloud Senior
- Diplôme universitaire en informatique, génie logiciel, technologies de l’information ou domaine connexe;
- Minimum 10 ans d’expérience en développement de solutions dans des environnements de données complexes avec de gros volumes;
- Minimum 7 ans d’expérience en SQL / PLSQL, avec capacité à écrire des requêtes complexes pour l’analyse de données;
- Minimum 5 ans d’expérience en développement sur Snowflake;
- Minimum 3 ans d’expérience dans la conception de pipelines et d’entrepôts de données avec Python (Pandas, NumPy, PySpark, etc.);
- Minimum 3 ans d’expérience dans des environnements hybrides (on-premise et cloud);
- Maîtrise pratique de Python;
- Expérience confirmée avec Airflow (ou outils similaires comme Dagster);
- Certification Snowflake SnowPro Core obligatoire;
- Certifications SnowPro Advanced Architect et Advanced Data Engineer sont un atout;
- Expérience avec DBT souhaitée;
- Compétence en optimisation de performances (requêtes SQL, jobs Spark, procédures stockées);
- Compréhension des modèles de données E-R (conceptuel, logique, physique);
- Connaissances des concepts avancés en entrepôt de données (tables de faits sans faits, modèles temporels/bi-temporels) sont un atout;
- Solides compétences analytiques, capacité à traduire des besoins métier en solutions techniques;
- Excellentes aptitudes en communication orale et écrite, avec capacité à collaborer avec divers groupes techniques et métiers à l’échelle mondiale;
- Autonomie, rigueur, gestion simultanée de projets complexes avec peu de supervision;
- Esprit critique et capacité à clarifier les objectifs, exigences et priorités métier.
SENIOR CLOUD DATA WAREHOUSE ENGINEER
As a part of its agreements with its various clients, Procom is currently seeking a Senior Cloud Data Warehouse Engineer for a company in the finance sector. Our client is located in Montréal.
Job details – Senior Cloud Data Warehouse Engineer
Key responsibilities for this position include:
- To design, develop, and manage our Snowflake data warehouse;
- To contribute towards the establishment of best practices for the optimal and efficient usage of Snowflake with tooling like Airflow, DBT and Spark;
- To assist with the testing and deployment of our data pipeline framework utilizing standard testing frameworks and CI/CD tooling;
- To monitor the performance of queries and data loads and perform tuning as necessary;
- To provide assistance and guidance during the QA & UAT phases to quickly confirm the validity of potential issues and to determine the root cause and best resolution of verified issues.
Mandatory Skills – Senior Cloud Data Warehouse Engineer
- Bachelor’s degree in Computer Science, Software Engineering, Information Technology, or related field required;
- At least 10 years of experience in data development and solutions in highly complex data environments with large data volumes;
- At least 7 years of SQL / PLSQL experience with the ability to write ad-hoc and complex queries to perform data analysis;
- At least 5 years of experience with developing data solutions on Snowflake;
- At least 3 years of data pipelines and data warehousing solutions using Python and libraries such as Pandas, NumPy, PySpark, etc;
- At least 3 years of experience developing solutions in a hybrid data environment (on-Prem and Cloud);
- Hands on experience with Python a must;
- Hands on experience with Airflow (or similar tools like Dagster) a must;
- Snowflake SnowPro Core a must;
- Snowflake SnowPro Advanced Architect and Advanced Data Engineer a plus;
- Hands on experience with DBT a plus;
- Experience with performance tuning SQL queries, Spark job, and stored procedures;
- An understanding of E-R data models (conceptual, logical, and physical);
- Understanding of advanced data warehouse concepts (Factless Fact Tables, Temporal \ Bi-Temporal models, etc.) a plus;
- Strong analytical skills, including a thorough understanding of how to interpret customer business requirements and translate them into technical designs and solutions;
- Strong communication skills both verbal and written. Capable of collaborating effectively across a variety of IT and Business groups, across regions, roles and able to interact effectively with all levels;
- Self-starter. Proven ability to manage multiple, concurrent projects with minimal supervision. Can manage a complex ever changing priority list and resolve conflicts to competing priorities;
- Strong problem-solving skills. Ability to identify where focus is needed and bring clarity to business objectives, requirements, and priorities.