Objectif du stage: Mettre en place une chaîne d’observabilité LLM/agents (traces, prompts, coûts, dérives) avec LangFuse et un dispositif d’évaluation continue. L’agent propose des optimisations (prompting, routing, choix d’outil) et n8n orchestre les revues et validations.

Missions:

• Instrumenter LangFuse et définir les métriques clés
• Construire des jeux d’évaluation et A/B testing
• Automatiser les boucles d’amélioration via n8n
• Publier un tableau de bord qualité/coûts
• Rédiger le playbook de gouvernance LLM

Exigences:

• Ingéniorat
• LangFuse, n8n, Azure OpenAI, Python, Métriques & A/B, Qdrant (optionnel)

Durée: 4 à 5 mois Nombre de stagiaires: 1