Mise en place d’un système intelligent de Q&A sur une large documentation technique basé sur RAG et l’IA générative.
Missions:
- Construire un pipeline d’indexation: ingestion PDF, chunking, embeddings et index vectoriel
- Implémenter une chaîne RAG complète: retrieval hybride, re-ranking, génération de réponses sourcées
- Intégrer la détection hors-sujet et un chatbot conversationnel avec historique
- Évaluer, affiner et déployer: exactitude, latence, taux de refus corrects
Objectifs mesurables:
- ≥75% d’exactitude des réponses (jeu de test annoté)
- 95% des réponses citent leurs sources
- Latence ≤10 secondes
- Couverture du corpus ≥90%
- Interface utilisateur fonctionnelle (chat web ou CLI)
Technologies/Outils:
- NLP/Orchestration: Hugging Face, Sentence-Transformers, LangChain/LlamaIndex
- Index/DB: Milvus, Weaviate, Azure AI Search, Pinecone
- Ingestion: PyMuPDF, pdfplumber, Unstructured, Playwright/Selenium
- Backend: FastAPI, Redis, Pydantic
- Frontend: Vue.js/React, Streamlit (optionnel)
- LLM: OpenAI GPT-4/Azure OpenAI, Mistral, Llama 2; prompts Jinja2
- MLOps/Évaluation: MLflow, Ragas/TruLens, W&B, N8N; Git/GitHub
- Infra: Docker, Python, Jupyter
Mots-clés: RAG, Semantic Search, Fine-tuning, Generative AI, Chatbot