Stage IA de confiance - Abstraction bilinéaires pour les RNN et Transformers -Saclay-H/F

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions

Contexte

Avec les récents développements en matière d'IA, son utilisation est de plus en plus répandue et soulève de plus en plus de questions quant à sa robustesse, son respect de la vie privée ou autre. Un certain nombre de travaux ont émergés pour augmenter la confiance dans les IA en se basant sur des méthodes formelles pour obtenir des garanties mathématiques de leur sûreté. Ces méthodes sont implémentées dans l'outil PyRAT développé au CEA.

Les architectures d'IA récentes comme les transformers ou des réseaux récurrents (RNN) utilisent des fonctions de plus en plus complexes pour construire des modèles. Le mécanisme d'attention des réseaux transformers (à la base des LLMs par exemple), est le résultat de plusieurs fonctions non-linéaires multi variées. Par conséquent, la vérification de ces architectures est de plus en plus complexe et nécessite de construire des abstractions précises et efficaces de ces fonctions non-linéaires.

Qu’attendons-nous de vous ?

Le but du stage sera d'étendre les capacités de PyRAT sur ce type de fonctions. Des travaux récents ont déjà permis des améliorations de PyRAT sur la fonction softmax, il s'agira alors de généraliser ces travaux pour d'autres fonctions notamment celles présentes dans les architectures LSTM. En plus de cela, ces méthodes seront combinées à des méthodes d'optimisation pour améliorer les abstractions.

Un benchmark sur plusieurs cas d'usages sera constitué pour comparer les performances de PyRAT à d'autres outils.

# CEA-List

Profil du candidat

Profil

Vous préparez un diplôme de niveau M1 ouM2 dans le domaine de l'informatique ou des mathématiques.

Vous possédez des connaissances en développement Python, en mathématiques et en intelligence artificielle.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :

• L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
• Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
• Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
• Des moyens expérimentaux exceptionnels et un encadrement de qualité,
• De réelles opportunités de carrière à l’issue de votre stage
• Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
• Une participation aux transports en commun à hauteur de 85%,
• Un équilibre vie privée – vie professionnelle reconnu,
• Un restaurant d'entreprise,
• Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Localisation du poste Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Saclay

Critères candidat Langues

Anglais (Intermédiaire)

Diplôme préparé

Bac+4

• Master 1

Formation recommandée

Informatique/Mathématiques

Demandeur Disponibilité du poste

01/02/2027