Senior AWS Data Engineer (Multi-Client Support) | Ingénieur(e) de Données AWS Senior (Support Multi-Clients)

Position Summary

We are seeking a highly skilled and knowledgeable AWS Subject Matter Expert to join our dynamic team. You will design, develop, and maintain scalable, secure, and robust data environments that support our AI/ML applications and Business Intelligence (BI) solutions. You will work on cloud-based data systems, ensuring that data from ERP systems running on Oracle database (cloud or on-premises) and other data sources are securely processed, segregated, and delivered efficiently. This role emphasizes software engineering practices, cloud deployment, and automation while ensuring scalability and performance.

This position offers the opportunity to work at the forefront of cloud technology, enabling data-driven decision-making for diverse clients in the retail and AI sectors. Your expertise will drive impactful projects, ensuring our cloud infrastructure is robust, scalable, secure, efficient, and capable of supporting our diverse and challenging business needs of our clients. This role is ideal for someone passionate about leveraging their deep understanding of AWS to drive significant business impact through cutting-edge cloud solutions.

This is a hands-on role that requires rolling up your sleeves to do the real software development work, live by the start up mentality of not only wearing multiple hats, but also be ready to have a direct and significant impact on playing a pivotal role in AI-ML products we enable for our diverse clients.

Key Responsibilities

Cloud Data Engineering and Architecting

• Design, implement, and optimize scalable ETL pipelines for structured and unstructured data within AWS.
• Architect secure, reliable, and multi-tenant cloud environments ensuring complete data segregation across clients.
• Build and deploy APIs to support modular, microservices-based applications.
• Integrate and manage data from diverse sources, including Jesta’s ERP system for Retailers and Wholesalers running on Oracle databases (OCI or on-premises), relational databases, external APIs, and other sources as needed.
• Leverage AWS cloud services (e.g., S3, Lambda, Glue, RDS) for data warehousing, processing, and analytics delivery.
• Automate workflows, CI/CD pipelines, and data processing pipelines for enhanced operational efficiency.

Software Development Responsibilities

• Develop and maintain reusable, modular, and scalable software components for data pipelines, APIs, and automation scripts using Python and other programming languages.
• Apply software engineering principles, including version control, unit testing, and code reviews, to ensure code quality and maintainability.
• Write infrastructure-as-code (IaC) using AWS CloudFormation or Terraform to manage and deploy AWS resources programmatically.
• Design and implement end-to-end automated CI/CD pipelines for application deployments, ensuring efficient code integration and delivery.
• Create robust logging, error-handling, and monitoring solutions to enhance the reliability and traceability of software applications.
• Work in an Agile development environment, collaborating closely with cross-functional teams to deliver solutions iteratively and efficiently.
• Explore, evaluate, and implement emerging AWS services to enhance software functionality and performance.

Multi-Client Support

• Design and maintain secure, multi-tenant data architectures ensuring strict data segregation and compliance with client-specific security protocols.
• Proactively manage and troubleshoot data-related issues across multiple client environments to ensure uninterrupted data access and integrity, and ensuring scalability and reliability as data volumes and client demands evolve.
• Implement robust data-sharing policies that adhere to industry best practices while accommodating individual client preferences and legal obligations.
• Regularly audit multi-client environments to identify potential vulnerabilities or areas for improvement in segregation and security measures.

Security and Compliance

• Ensure strict adherence to AWS security best practices to protect client data.
• Implement identity management solutions (e.g., AWS IAM) and scalable encryption protocols.
• Maintain detailed, up-to-date documentation of data pipelines, architectures, and security policies.

AI/ML and Data Integration

• Collaborate with data scientists to prepare, clean, and validate large-scale datasets for AI/ML model training and deployment.
• Design and implement scalable production pipelines for integrating AI/ML models using AWS AI services.
• Optimize data workflows to support real-time analytics and machine learning use cases.

BI and Analytics Enablement

• Collaborate with BI developers to deliver optimized datasets for Tableau and Power BI dashboards.
• Modernize and migrate legacy BI platforms to scalable AWS-based architectures.
• Implement and enforce robust data governance practices, including identity management, encryption, and compliance.

Qualifications

Hard Skills

• Expertise in AWS: Extensive experience with AWS cloud services, including deployment, management, and monitoring of cloud solutions.
• Cloud Architecture Proficiency: Ability to design and implement scalable, reliable, and secure cloud architectures on AWS.
• AWS DevOps and Automation: Proficient in using AWS DevOps, setting up CI/CD pipelines, and utilizing automation tools for efficient deployment.
• Programming Skills: Strong coding abilities in languages such as Python and familiarity with scripting languages like PowerShell or Bash. PL/SQL Skills will be preferable.
• Data Pipeline Management: Experience in designing and managing complex data pipelines and ETL processes within the AWS environment.
• Database Knowledge: Proficient with relational databases (Oracle, SQL Server, MySQL) on AWS.
• Containerization and Orchestration: Familiarity with Docker and Kubernetes (AKS) for container management and orchestration.
• AI and Machine Learning Integration: Understanding of AI, machine learning, and data science concepts, with the ability to integrate AWS AI services.
• Security and Compliance: Knowledge of AWS security services, identity management, encryption, and compliance best practices.
• Certifications: Relevant AWS certifications such as AWS Solutions Architect Expert or AWS DevOps Engineer Expert.
• Agile Methodologies: Experience working in teams using Agile frameworks like Scrum.

Soft Skills

• Communication: Excellent ability to explain technical details to non-technical stakeholders.
• Problem-Solving: Strong analytical skills to foresee and address challenges in cloud deployments.
• Client-Centric: Proven ability to manage multi-client environments and meet diverse needs, and skilled in client interactions, and able to translate client needs into actionable technical strategies.
• Agility: Adaptability to changing project requirements and emerging technologies, , with a commitment to continuous learning and improvement in the field of cloud computing and AWS services.

Education and Experience

• Master’s degree in computer science, Software Engineering, or related field.
• 3–5 years of hands-on experience in AWS cloud deployments, data integration, and large-scale dataset processing.
• AWS certifications (e.g., AWS Solutions Architect Expert or AWS DevOps Engineer Expert) preferred.

Additional Details

Work Location: Hybrid in Montréal, QC

We thank all applicants for their interest. However, only shortlisted candidates will be contacted.

___________________________________________________________________________

Résumé du poste

Nous recherchons un(e) expert(e) en AWS hautement qualifié(e) et compétent(e) pour rejoindre notre équipe dynamique. Vous serez responsable de concevoir, développer et maintenir des environnements de données évolutifs, sécurisés et robustes qui soutiennent nos applications d’IA/ML et nos solutions d’intelligence d’affaires (BI). Vous travaillerez sur des systèmes de données basés sur le cloud, garantissant que les données des systèmes ERP fonctionnant sur des bases de données Oracle (sur le cloud ou sur site) et d’autres sources de données sont traitées, séparées et livrées efficacement. Ce rôle met l’accent sur les pratiques d’ingénierie logicielle, le déploiement sur le cloud et l’automatisation tout en assurant évolutivité et performance.

Ce poste offre l’opportunité de travailler à la pointe de la technologie cloud, permettant une prise de décision basée sur les données pour divers clients dans les secteurs du commerce de détail et de l’IA. Votre expertise contribuera à des projets impactants, garantissant une infrastructure cloud robuste, évolutive, sécurisée et capable de répondre aux besoins variés et exigeants de nos clients. Ce rôle est idéal pour une personne passionnée par l’utilisation de ses compétences approfondies en AWS pour avoir un impact significatif sur les entreprises grâce à des solutions cloud innovantes.

Responsabilités clés

Ingénierie et architecture de données cloud

• Concevoir, implémenter et optimiser des pipelines ETL évolutifs pour les données structurées et non structurées au sein d’AWS.
• Architecturer des environnements cloud multi-locataires sécurisés et fiables, assurant une séparation complète des données entre clients.
• Construire et déployer des API pour prendre en charge des applications modulaires basées sur des microservices.
• Intégrer et gérer les données provenant de diverses sources, notamment le système ERP de Jesta pour les détaillants et grossistes fonctionnant avec une base de données Oracle sur le cloud (OCI) ou sur site, ainsi que des bases de données relationnelles et des API externes, selon les besoins.
• Exploiter les services cloud AWS (par exemple : S3, Lambda, Glue, RDS) pour l’entreposage, le traitement et la livraison analytique des données.
• Automatiser les flux de travail, les pipelines CI/CD et les pipelines de traitement des données pour améliorer l’efficacité opérationnelle.

Support multi-clients

• Concevoir et maintenir des architectures de données multi-locataires sécurisées, garantissant une séparation stricte des données et la conformité aux protocoles de sécurité spécifiques des clients.
• Gérer et résoudre de manière proactive les problèmes liés aux données dans différents environnements clients afin de garantir un accès ininterrompu et une intégrité des données.
• Mettre en œuvre des politiques de partage de données robustes qui respectent les meilleures pratiques de l’industrie tout en répondant aux préférences spécifiques et aux obligations légales de chaque client.
• Auditer régulièrement les environnements multi-clients pour identifier d’éventuelles vulnérabilités ou des opportunités d’amélioration dans les mesures de sécurité et de séparation.

Sécurité et conformité

• Garantir l’application stricte des meilleures pratiques de sécurité AWS pour protéger les données des clients.
• Implémenter des solutions de gestion des identités (par exemple : AWS IAM) et des protocoles de chiffrement évolutifs.
• Maintenir une documentation détaillée et à jour des pipelines de données, des architectures et des politiques de sécurité.

Intégration IA/ML et données

• Collaborer avec les data scientists pour préparer, nettoyer et valider de grands ensembles de données pour l’entraînement et le déploiement des modèles IA/ML.
• Concevoir et implémenter des pipelines de production évolutifs pour intégrer les modèles IA/ML en utilisant les services AWS AI.
• Optimiser les flux de données pour soutenir des analyses en temps réel et des cas d’utilisation liés à l’apprentissage automatique.

Facilitation BI et analytique

• Collaborer avec les développeurs BI pour fournir des ensembles de données optimisés pour les tableaux de bord Tableau et Power BI.
• Moderniser et migrer les plateformes BI existantes vers des architectures AWS évolutives.
• Mettre en œuvre et appliquer des pratiques rigoureuses de gouvernance des données, y compris la gestion des identités, le chiffrement et la conformité.

Qualifications

Compétences techniques

• Expertise AWS : Expérience approfondie des services cloud AWS, notamment le déploiement, la gestion et la surveillance de solutions cloud.
• Architecture cloud : Capacité à concevoir et à implémenter des architectures cloud évolutives, fiables et sécurisées sur AWS.
• AWS DevOps et automatisation : Maîtrise des outils DevOps d’AWS, de la configuration des pipelines CI/CD et de l’utilisation d’outils d’automatisation pour des déploiements efficaces.
• Programmation : Compétences solides en programmation dans des langages tels que Python et maîtrise des langages de script comme PowerShell ou Bash. Les compétences en PL/SQL sont un atout.
• Gestion de pipelines de données : Expérience dans la conception et la gestion de pipelines de données complexes et de processus ETL au sein de l’environnement AWS.
• Bases de données : Expertise en bases de données relationnelles (Oracle, SQL Server, MySQL) sur AWS.
• Conteneurisation et orchestration : Familiarité avec Docker et Kubernetes (AKS) pour la gestion et l’orchestration de conteneurs.
• Intégration IA/ML : Bonne compréhension des concepts d’IA, de machine learning et de science des données, avec la capacité d’intégrer les services IA d’AWS.
• Sécurité et conformité : Connaissance approfondie des services de sécurité AWS, de la gestion des identités, du chiffrement et des meilleures pratiques en matière de conformité.
• Certifications : Certifications AWS pertinentes, comme AWS Solutions Architect Expert ou AWS DevOps Engineer Expert.
• Méthodologies Agiles : Expérience de travail dans des équipes utilisant des cadres Agiles comme Scrum.

Compétences comportementales

• Communication : Capacité exceptionnelle à expliquer des détails techniques à des parties prenantes non techniques.
• Résolution de problèmes : Solides compétences analytiques pour anticiper et résoudre les défis liés aux déploiements cloud.
• Orientation client : Capacité avérée à gérer des environnements multi-clients et à répondre à des besoins diversifiés.
• Agilité : Adaptabilité aux exigences changeantes des projets et aux technologies émergentes, avec un engagement envers l’apprentissage continu.

Formation et expérience

• Diplôme : Master en informatique, génie logiciel ou domaine connexe.
• Expérience : 3 à 5 ans d’expérience pratique dans les déploiements AWS, l’intégration de données et le traitement de grands ensembles de données.
• Certifications: Certifications AWS telles que AWS Solutions Architect Expert ou AWS DevOps Engineer Expert sont préférées.

Informations supplémentaires

Lieu de travail: Hybride à Montréal, QC

Nous remercions tous les candidats pour leur intérêt. Seuls les candidats retenus seront contactés.