Contexte du projet

• L’objectif est de concevoir et mettre en œuvre un scheduler basé sur Apache Airflow afin d’orchestrer les flux de données entre plusieurs systèmes.
• La solution vise à centraliser la planification, l’exécution et le suivi des processus métiers, en garantissant la gestion des dépendances, la résilience face aux erreurs et une visibilité complète via une interface dédiée.

Missions et tâches principales

• Définir l’architecture cible et les composants nécessaires (Airflow, stockage, connecteurs).
• Installer et configurer Apache Airflow dans l’environnement choisi et concevoir les DAGs pour orchestrer les flux entre les systèmes.
• Développer les opérateurs et capteurs pour les principales étapes (extraction, transformation, transfert) et mettre en place la gestion des erreurs, des retries et des alertes.
• Intégrer les notifications pour le suivi des exécutions, tester et valider les workflows en préproduction puis déployer la solution en production.
• Documenter l’architecture et former l’équipe à l’utilisation d’Airflow.

Environnement technique & outils

• Langages et frameworks : Python, Apache Airflow (DAGs, opérateurs, capteurs).
• Outils et plateformes : Datadog (monitoring), Azure DevOps (CI/CD), Jira & Confluence (gestion de projet et documentation).
• Intégration d’éléments d’infrastructure comme stockage et connecteurs pour échanges inter-systèmes, et automatisation des déploiements.

Livrables attendus

• Architecture cible documentée et composants déployés (Airflow configuré, connecteurs opérationnels).
• Ensemble de DAGs et opérateurs/capteurs développés, tests validés en préproduction et procédure de déploiement en production.
• Documentation technique et guide d’utilisation / formation pour l’équipe opérationnelle.

Candidature

• Pour postuler, envoyer votre candidature par email à rh@olivesoft.fr en précisant le sujet indiqué ci-dessous.
• Vous pouvez également remplir le formulaire de candidature en ligne via le lien fourni dans l’annonce.