CEASaclayNon précisé
Les missions du poste
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
Les Vision Transformers (ViT) atteignent d'excellentes performances sur de nombreuses tâches de vision, mais leur coût de calcul et leur empreinte mémoire compliquent leur déploiement sur des plateformes embarquées. Parmi les techniques permettant de réduire leur complexité, le pruning de tokens [1] vise à supprimer dynamiquement les tokens les moins informatifs, tandis que la quantification [2] réduit la précision numérique des poids et des activations. Ces deux approches sont cependant généralement étudiées séparément alors qu'elles sont complémentaires plutôt que concurrentes. Des travaux récents montrent qu'elles peuvent être fortement interdépendantes et gagner à être conçues conjointement [3,4].
Qu'attendons-nous de vous ?
L'objectif de ce stage est de développer une méthode de pruning de tokens quantization-aware et hardware-aware. Le travail consistera d'abord à caractériser l'impact de la quantification sur la sélection et l'importance des tokens, puis à développer une stratégie de pruning tenant compte à la fois de leur contribution à la tâche et de leur sensibilité à la basse précision. L'objectif sera ainsi d'étudier la co-optimisation du pruning et de la quantification plutôt que leur application indépendante.
La dimension hardware-aware visera à transformer les réductions de complexité algorithmique en gains réels sur la plateforme cible, notamment en termes de latence et d'empreinte mémoire. La granularité du pruning, la structure des tenseurs, le budget de tokens ainsi que le caractère dynamique ou statique de la stratégie seront étudiés en fonction de leur efficacité d'exécution et de leur compatibilité avec les kernels et le compilateur.
Les développements seront intégrés dans Aidge, la plateforme de deep learning développée au laboratoire pour l'optimisation et le déploiement de réseaux de neurones sur systèmes embarqués. Le travail comprendra l'étude de l'état de l'art, le développement et l'intégration des méthodes proposées, puis leur validation sur cible en termes de précision, complexité, latence, empreinte mémoire et surcoût du pruning.
Références:
[1] Bercy, V., Poreba, M., Szczepanski, M., Bouchafa, S.: G2TM: Single-module graph-guided token merging for efficient semantic segmentation. In: Proceedings of the 21st International Conference on Computer Vision Theory and Applications (VISAPP), pp. 43-54. (2026).
[2] Sassoon, J., Szczepanski, M., Poreba, M.: I-Segmenter: Integer-only Vision Transformer for efficient semantic segmentation. Journal of Systems Architecture 178, 103888 (2026).
[3] Wang, X., Xia, Z., Lin, Z., Li, Z., Wang, Y.: QAPruner: Quantization-Aware Vision Token Pruning for Multimodal Large Language Models. (2026). arXiv:2604.02816.
[4] Fan, X., Ma, Y., Chen, Z., Liu, H.: A Hardware Efficient Joint Compression Framework for Vision Transformers. IEEE Access, vol. 14, (2026).
#Cea List
Le profil recherché
Vous préparez un diplôme de niveau Bac +5 (Master 2 ou diplôme d'ingénieur) dans le domaine de l'informatique, des mathématiques appliquées, de l'intelligence artificielle ou dans un domaine connexe.
Vous êtes intéressé par la recherche scientifique et technologique et êtes reconnu pour votre rigueur, votre autonomie et votre curiosité scientifique.
Vous possédez de bonnes connaissances en Python, PyTorch et Linux, ainsi qu'en apprentissage profond. Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles ! Vous avez encore un doute ? Nous vous proposons : L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,Une expérience à la pointe de l'innovation, comportant un fort potentiel de développement industriel,Des moyens expérimentaux exceptionnels et un encadrement de qualité,De réelles opportunités de carrière à l'issue de votre stage,Un poste au coeur de l'écosystème scientifique et technologique de Paris-Saclay, facilement accessible en transports en commun,Une participation aux transports en commun à hauteur de 85%,Un équilibre vie privée
Bienvenue chez CEA
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs. Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international. Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :