Job Description
Cloud Data Engineer
Contract Term: 12 months, renewable
Work Location: Montreal, QC; Hybrid, 3 days onsite per week (some flexibility), the other days remote
Our client, a global leading consulting firm, is looking for a Cloud Data Engineer.
Key skills: data engineer, SQL, Data warehouse, Python, PySpark, Databricks
Nice to have: Snowflake
This position is for a Cloud Data engineer with a background in Python, Pyspark, SQL and data warehousing for enterprise level systems. The position calls for someone that is comfortable working with business users along with business analyst expertise.
The Role:
- Build and optimize data pipelines for efficient data ingestion, transformation and loading from various sources while ensuring data quality and integrity.
- Design, develop, and deploy Spark program in databricks environment to process and analyze large volumes of data.
- Experience of Data Lake, DWH, Data Integration, Cloud, Design and Data Modelling.
- Proficient in developing programs in Python and SQL
- Experience with Data warehouse Dimensional data modeling.
- Working with event based/streaming technologies to ingest and process data.
- Working with structured, semi structured and unstructured data.
- Optimize Databricks jobs for performance and scalability to handle big data workloads.
- Monitor and troubleshoot Databricks jobs, identify and resolve issues or bottlenecks.
- Implement best practices for data management, security, and governance within the Databricks environment. Experience designing and developing Enterprise Data Warehouse solutions.
- Proficient writing SQL queries and programming including stored procedures and reverse engineering existing process.
- Perform code reviews to ensure fit to requirements, optimal execution patterns and adherence to established standards.
Requirements:
- 5+ years Python coding experience.
- 5+ years - SQL Server based development of large datasets
- 5+ years with Experience with developing and deploying ETL pipelines using Databricks Pyspark.
- Experience in any cloud data warehouse like Synapse, Big Query, Redshift, Snowflake.
- Experience in Data warehousing - OLTP, OLAP, Dimensions, Facts, and Data modeling.
- Previous experience leading an enterprise-wide Cloud Data Platform migration with strong architectural and design skills.
- Experience with Cloud based data architectures, messaging, and analytics.
- Cloud certification(s).
- Any experience with Airflow is a Plus.
Ingénieur de données cloud
Durée du contrat : 12 mois, renouvelable
Lieu de travail : Montréal, QC ; hybride, 3 jours sur place par semaine, les autres jours à distance
Notre client, un cabinet de conseil de premier plan à l'échelle mondiale, recherche un ingénieur de données cloud.
Compétences clés : ingénieur de données, SQL, entrepôt de données, Python, PySpark, Databricks
Atouts : Snowflake
Ce poste est destiné à un ingénieur de données cloud ayant une expérience en Python, Pyspark, SQL et en entrepôt de données pour les systèmes d'entreprise. Le poste requiert une personne à l'aise avec les utilisateurs professionnels et possédant une expertise en analyse commerciale.
Français:Le rôle :
• Créer et optimiser des pipelines de données pour une ingestion, une transformation et un chargement efficaces des données à partir de diverses sources tout en garantissant la qualité et l'intégrité des données.
• Concevoir, développer et déployer un programme Spark dans un environnement Databricks pour traiter et analyser de gros volumes de données.
• Expérience de Data Lake, DWH, Data Integration, Cloud, Design et Data Modelling.
• Maîtrise du développement de programmes en Python et SQL
• Expérience de la modélisation de données dimensionnelles d'entrepôt de données.
• Travailler avec des technologies basées sur des événements/streaming pour ingérer et traiter des données.
• Travailler avec des données structurées, semi-structurées et non structurées.
• Optimiser les tâches Databricks pour les performances et l'évolutivité afin de gérer les charges de travail de Big Data.
• Surveiller et dépanner les tâches Databricks, identifier et résoudre les problèmes ou les goulots d'étranglement.
• Mettre en œuvre les meilleures pratiques en matière de gestion, de sécurité et de gouvernance des données au sein de l'environnement Databricks. Expérience de la conception et du développement de solutions d'entrepôt de données d'entreprise.
• Maîtrise de la rédaction de requêtes SQL et de la programmation, y compris des procédures stockées et de la rétro-ingénierie des processus existants.
• Effectuer des revues de code pour garantir l’adéquation aux exigences, les modèles d’exécution optimaux et le respect des normes établies.
Exigences :
• 5 ans et plus d'expérience en codage Python.
• 5 ans et plus - Développement de grands ensembles de données basé sur SQL Server
• 5 ans et plus d'expérience dans le développement et le déploiement de pipelines ETL à l'aide de Databricks Pyspark.
• Expérience dans n'importe quel entrepôt de données cloud comme Synapse, Big Query, Redshift, Snowflake.
• Expérience dans l'entreposage de données - OLTP, OLAP, Dimensions, Facts et modélisation de données.
• Expérience antérieure dans la conduite d'une migration de plateforme de données cloud à l'échelle de l'entreprise avec de solides compétences en architecture et en conception.
• Expérience des architectures de données, de la messagerie et de l'analyse basées sur le cloud.
• Certification(s) cloud.
• Toute expérience avec Airflow est un plus.
Durée du contrat : 12 mois, renouvelable
Lieu de travail : Montréal, QC ; hybride, 3 jours sur place par semaine, les autres jours à distance
Notre client, un cabinet de conseil de premier plan à l'échelle mondiale, recherche un ingénieur de données cloud.
Compétences clés : ingénieur de données, SQL, entrepôt de données, Python, PySpark, Databricks
Atouts : Snowflake
Ce poste est destiné à un ingénieur de données cloud ayant une expérience en Python, Pyspark, SQL et en entrepôt de données pour les systèmes d'entreprise. Le poste requiert une personne à l'aise avec les utilisateurs professionnels et possédant une expertise en analyse commerciale.
Français:Le rôle :
• Créer et optimiser des pipelines de données pour une ingestion, une transformation et un chargement efficaces des données à partir de diverses sources tout en garantissant la qualité et l'intégrité des données.
• Concevoir, développer et déployer un programme Spark dans un environnement Databricks pour traiter et analyser de gros volumes de données.
• Expérience de Data Lake, DWH, Data Integration, Cloud, Design et Data Modelling.
• Maîtrise du développement de programmes en Python et SQL
• Expérience de la modélisation de données dimensionnelles d'entrepôt de données.
• Travailler avec des technologies basées sur des événements/streaming pour ingérer et traiter des données.
• Travailler avec des données structurées, semi-structurées et non structurées.
• Optimiser les tâches Databricks pour les performances et l'évolutivité afin de gérer les charges de travail de Big Data.
• Surveiller et dépanner les tâches Databricks, identifier et résoudre les problèmes ou les goulots d'étranglement.
• Mettre en œuvre les meilleures pratiques en matière de gestion, de sécurité et de gouvernance des données au sein de l'environnement Databricks. Expérience de la conception et du développement de solutions d'entrepôt de données d'entreprise.
• Maîtrise de la rédaction de requêtes SQL et de la programmation, y compris des procédures stockées et de la rétro-ingénierie des processus existants.
• Effectuer des revues de code pour garantir l’adéquation aux exigences, les modèles d’exécution optimaux et le respect des normes établies.
Exigences :
• 5 ans et plus d'expérience en codage Python.
• 5 ans et plus - Développement de grands ensembles de données basé sur SQL Server
• 5 ans et plus d'expérience dans le développement et le déploiement de pipelines ETL à l'aide de Databricks Pyspark.
• Expérience dans n'importe quel entrepôt de données cloud comme Synapse, Big Query, Redshift, Snowflake.
• Expérience dans l'entreposage de données - OLTP, OLAP, Dimensions, Facts et modélisation de données.
• Expérience antérieure dans la conduite d'une migration de plateforme de données cloud à l'échelle de l'entreprise avec de solides compétences en architecture et en conception.
• Expérience des architectures de données, de la messagerie et de l'analyse basées sur le cloud.
• Certification(s) cloud.
• Toute expérience avec Airflow est un plus.
Contact Information: Lam Guan
Visit Original Source:
http://ca.indeed.com/viewjob
