Contexte et objectif

• L’objectif du projet est de concevoir et mettre en œuvre un scheduler basé sur Apache Airflow afin d’orchestrer les flux de données entre plusieurs systèmes.
• La solution vise à centraliser la planification, l’exécution et le suivi des processus métiers, en garantissant la gestion des dépendances, la résilience face aux erreurs et une visibilité complète via une interface dédiée.

Tâches principales

• Définir l’architecture cible et les composants nécessaires (Airflow, stockage, connecteurs).
• Installer et configurer Apache Airflow dans l’environnement choisi.
• Concevoir les DAGs pour orchestrer les flux entre les systèmes et développer les opérateurs et capteurs pour les étapes clés (extraction, transformation, transfert).
• Mettre en place la gestion des erreurs, des retries, des alertes et intégrer des notifications pour le suivi des exécutions.

Tests, déploiement et exploitation

• Tester et valider les workflows dans un environnement de préproduction avant mise en production.
• Déployer la solution en production et assurer la maintenance opérationnelle pour améliorer la fiabilité des traitements.
• Intégrer des outils de monitoring/observabilité (ex : Datadog) et des pipelines CI/CD (ex : Azure DevOps) pour automatiser les déploiements et le suivi.

Documentation et transfert

• Documenter l’architecture, les DAGs et les opérateurs développés, ainsi que les procédures de reprise en cas d’erreur.
• Former l’équipe à l’utilisation d’Airflow et aux bonnes pratiques d’exploitation (utilisation de Jira/Confluence pour le suivi et la documentation).

Technologies et compétences attendues

• Technologies citées : Apache Airflow, Python, Datadog, Azure DevOps, Jira, Confluence.
• Compétences : conception d’architecture d’orchestration, développement de DAGs et opérateurs, gestion des erreurs et monitoring, déploiement CI/CD, documentation et formation.

Candidature

• Pour postuler, envoyez votre candidature par email à rh@olivesoft.fr en précisant le sujet indiqué ci‑dessous.
• Vous pouvez également postuler via le formulaire en ligne : https://forms.office.com/e/YHrzYgrRAV