Construire un système de monitoring d’erreurs en temps réel capable de transformer des logs bruts en alertes intelligentes et diagnostics automatisés.
L’objectif est d’intégrer ELK et Kafka avec des composants d’IA agentique (LLMs / agents) pour proposer des résolutions proactives et des diagnostics exploitables.
Technologies et périmètre technique
Technologies citées : Java, Spring Boot, Spring IA, Generative IA, NLP, ELK (Elasticsearch, Logstash, Kibana), Kafka, Qdrant, Linux, Docker, LLMs, MCPs, AI Agents.
Tâches techniques attendues : design des pipelines de logs (Logstash/Beats → Kafka → ELK), intégration d’un moteur de vectorisation (Qdrant) pour recherche sémantique, orchestration de composants conteneurisés (Docker) et déploiement sur environnements Linux.
Responsabilités et fonctionnalités à réaliser
Développer des connecteurs et consommateurs Kafka pour ingérer et prétraiter les logs en temps réel.
Concevoir des modules d’analyse NLP/générative pour classifier les erreurs, générer diagnostics et formuler suggestions de remédiation via des agents IA.
Implémenter des règles d’alerte intelligentes et dashboards Kibana pour visualisation et monitoring opérationnel.
Livrables attendus
Prototype fonctionnel démontrant ingestion en temps réel, détection d’anomalies, et génération de diagnostics automatisés.
Documentation technique (architecture, API, déploiement Docker, guide d’utilisation) et jeux de tests/mesures de performance.
Compétences souhaitées
Maîtrise de Java et Spring Boot, bonnes connaissances en NLP/IA générative et compréhension des LLMs/agents.
Expérience avec ELK, Kafka, bases vectorielles (Qdrant), Docker et administration Linux.
Capacité à concevoir pipelines temps réel, monitoring et tests de robustesse.