Développer un assistant virtuel IoT capable d'interpréter le Langage des Signes Tunisien (LST) pour améliorer l'accessibilité.
Produire un système temps réel de reconnaissance et de tracking des mains afin d'assurer une interaction fluide avec des dispositifs IoT.
Missions principales
Développer et entraîner un modèle CNN/LSTM pour la reconnaissance du langage des signes tunisien (LST) à partir de séquences vidéo.
Intégrer MediaPipe pour la détection et le tracking des mains (21 landmarks) en temps réel, et exploiter OpenCV pour le prétraitement et l'optimisation des flux vidéo.
Concevoir une démonstration applicative (mobile/web/3D) pour visualiser les résultats et permettre l'interaction avec des objets IoT.
Technologies et méthodes
Utiliser TensorFlow ou PyTorch pour la conception et l'entraînement des modèles (CNN, LSTM) ; éventuellement exploiter Transformers (BERT / GPT) pour le traitement du langage si nécessaire.
Intégrer MediaPipe (hand landmarks 21) et OpenCV pour la capture, le tracking et l'extraction de caractéristiques en temps réel.
Déployer une interface ou prototype avec Three.js / Unity pour rendu 3D interactif, et Flutter / Laravel pour prototypage mobile/web et backend si requis.
Livrables attendus
Modèle entraîné et optimisé pour reconnaissance de signes (précision, latence) et pipeline de tracking temps réel.
Prototype démonstratif (application mobile ou web / démo 3D) connectant l'assistant au(s) démonstrateur(s) IoT.
Jeu de données annoté (si collecte/annotation réalisée), rapport technique et guide d'intégration/déploiement.
Profil et conditions
Niveau requis : Bac+5.
Durée du stage : 4 à 5 mois.
Compétences souhaitées : Computer Vision, Deep Learning (CNN/LSTM), expérience avec MediaPipe/OpenCV, connaissances en développement d'applications (Flutter, Unity/Three.js) et intégration backend (Laravel) sont un plus.
Encadrement et évaluation
Encadrement technique sur les aspects data & ML et support pour l'intégration IoT.
Évaluation sur la qualité du modèle, la réactivité temps réel, l'ergonomie de la démo et la documentation fournie.