Ingénieur de données / Data Engineer

at  Procom

INGÉNIEUR DE DONNÉES/DATA ENGINEER

Dans le cadre de ses ententes avec ses différents clients, Procom est actuellement à la recherche d’un Ingénieur de données. Notre client est situé à Montréal.

DESCRIPTION DES TÂCHES ET RESPONSABILITÉS – INGÉNIEUR DE DONNÉES

Les responsabilités du poste incluent :

• Travailler sur l’architecture Azure, la conception, la mise en œuvre et l’opérationnalisation de solutions de données, d’analyse et d’entreposage à grande échelle sur Snowflake Cloud Data Warehouse;

• Expérience pratique en développement avec les fonctionnalités de Snowflake telles que : SQL, Tasks; Streams; Time travel; Zero Copy SnowSQL; Snow Pipe Cloning; Optimizer; Metadata Manager; data sharing et les procédures stockées;

• Expérience en entreposage de données - OLTP, OLAP, dimensions, faits et modélisation de données;

• Connaissance pratique des éléments de configuration de MS Azure par rapport à Snowflake;

• Développer des pipelines ETL dans et hors de l’entrepôt de données en utilisant une combinaison de briques de données, Python et SQL/Snow SQL;
• Développer des scripts UNIX, Python etc. pour extraire, charger et transformer des données, ainsi que d’autres fonctions utilitaires;
• Fournir un support de production pour les problèmes liés à l’entrepôt de données tels que les problèmes de chargement de données et les problèmes de transformation;
• Traduire les spécifications de mappage en stratégies et en codes de conception et de développement de transformation de données, en intégrant les normes et les meilleures pratiques pour une exécution optimale;
• Comprendre les pipelines de données et les méthodes modernes d’automatisation des pipelines de données à l’aide de tests basés sur le cloud et documenter clairement les implémentations, afin que d’autres puissent facilement comprendre les exigences, la mise en œuvre et les conditions de test;
• Effectuer des revues de code pour garantir l’adéquation aux exigences, les modèles d’exécution optimaux et le respect des normes établies.

DATA ENGINEER

As a part of its agreements with its various clients, Procom is currently seeking a Data Engineer. Our client is located in Montréal.

MANDATORY SKILLS – DATA ENGINEER

• Minimum 8 years of hands on experience with productionized data ingestion and processing pipelines using Python, PySpark, Data bricks and SQL/Snow SQL;
• Experience designing and implementing an operational production grade large-scale data solution;
• Microsoft Azure Snowflake Data Warehouse experience highly desired;
• Understanding of Snowflake Internals and integration of Snowflake with other data processing and reporting technologies desired;
• Excellent presentation and communication skills, both written and verbal, ability to problem solve and design in an environment with unclear requirements;
• Top skills: Snowflake architecture, SnowSQL (Strong background), data factory (ADF) – need capital market experience (equity/fixed income space) – Python outbound, inbound analysis and SQL part of it – financial industry experience;
• Nice to haves – understanding of CI/CD pipeline, Python, concepts of warehousing.

• Working on Azure Architecture, design, implementation and operationalization of large-scale data and analytics and warehousing solutions on Snowflake Cloud Data Warehouse;
• Hands-on development experience with Snowflake features such as; Python; SQL, Tasks; Streams; Time travel; Zero Copy Snow SQL; Snow Pipe Cloning; Optimizer; Metadata Manager; data sharing; and stored procedures