Contexte et mission
- Objectif : évaluer et améliorer la qualité des données pour une assurance.
- Tâches principales : identifier valeurs manquantes, doublons et incohérences dans les fichiers clients, contrats et sinistres.
- Mesurer et produire un score de qualité global et proposer des recommandations de nettoyage.
- Mettre en place un pipeline automatisé de Data Quality scalable et répétable pour traiter les données de plusieurs clients.
Approche technique et livrables
- Automatisation possible avec Airflow (gestion des workflows) ou Kubeflow (orchestration et pipelines ML).
- Benchmark avec d'autres outils de Data Quality et comparaison des approches.
- Visualisation des résultats via un tableau de bord interactif (ex. Streamlit, Plotly, Power BI).
- Livrables attendus : pipeline automatisé, rapport de qualité avec score et recommandations, tableau de bord de visualisation.
Profil recherché & technologies
- Profil : Ingénieur DATA (1 engineer/stagiaire attendu).
- Technologies et frameworks mentionnés : Python, Pandas, NumPy, YData-Profiling, Great Expectations, Plotly, Streamlit, Power BI, Airflow/Kubeflow.
- Compétences attendues : manipulation et nettoyage de données, mise en place de pipelines et visualisation interactive.
Modalités pratiques
- Type : Stage PFE.
- Durée : 4-6 mois.
- Instructions de candidature : envoyer votre CV en précisant la référence PF@WEVIOO.COM.
📧 Pour postuler:
maissa.bibani@wevioo.com