Déploiement d'un chatbot d'IA générative souverain à INRAE : retour d'expérience

# Déploiement d'un chatbot d'IA générative souverain à INRAE : retour d'expérience **Auteurs :** - Jocelyn DE GOËR DE HERVE, jocelyn.degoer@inrae.fr, Unité Mixte de Recherche d'Épidémiologie des maladies Animales et zoonotiques, INRAE-VetAgroSUP - Gaetane Desgeorge, Direction des Systèmes d'Information (DSI), INRAE - Aurelien Djian, Direction des Systèmes d'Information (DSI), INRAE - Sylvain Duchene, Direction des Systèmes d'Information (DSI), INRAE - Eric Maldonado, Direction des Systèmes d'Information (DSI), INRAE - Nicolas Raidelet, Direction des Systèmes d'Information (DSI), INRAE - Martin Souchal, Direction pour la Science Ouverte (DipSO), INRAE - Alban Thomas, Direction pour la Science Ouverte (DipSO), INRAE - Herve Toureille, Direction des Systèmes d'Information (DSI), INRAE ## Introduction et contexte L'intelligence artificielle générative redéfinit rapidement les pratiques numériques dans le monde de la recherche et de l'enseignement supérieur. Face à cette dynamique et au risque croissant de *shadow IA*, INRAE a engagé un projet ambitieux : mettre à disposition de ses 12 000 agents un assistant conversationnel interne, reposant intégralement sur des modèles de langage open source, déployé et opéré sur ses propres infrastructures. Cette communication propose un retour d'expérience détaillé sur les choix techniques, organisationnels et stratégiques qui ont structuré cette initiative. ## Une approche on-premise au service de la souveraineté numérique Là où la majorité des organisations se tournent vers des offres Cloud ou SaaS, INRAE a opté pour un hébergement on-premise. Au démarrage des travaux, aucune initiative mutualisée ne répondait encore suffisamment aux critères de sécurité et de maîtrise des coûts de l'Institut. Plutôt que d'attendre, INRAE a fait le choix d'opérer son propre service en s'appuyant sur ses offres internes (Cloud Orion) et des composants open source — une combinaison jugée la plus adaptée pour protéger les données, garantir la robustesse de la plateforme et maîtriser les coûts budgétaires. Le souhait de limiter la dépendance à un acteur unique a également orienté cette décision. Des échanges réguliers sont maintenus avec les partenaires de l'ESR et les initiatives émergentes sont suivies avec attention — dont l'accord-cadre attendu à l'issue de l'expérimentation Amue. INRAE a par ailleurs déjà engagé une démarche de mutualisation des infrastructures via la fédération ILaaS. ## Architecture technique et mise en œuvre Le dispositif repose sur le cloud privé d'INRAE, construit sur OpenStack, qui permet des déploiements agiles selon une logique DevSecOps. L'inférence est assurée par des serveurs GPU hébergés dans les centres de données de l'institut. Aucune donnée n'est transmise à l'extérieur. L'ensemble de la pile logicielle — moteur d'inférence, orchestration, interface utilisateur — est constitué exclusivement de composants open source. Dans un contexte technologique très dynamique, une veille active permet de sélectionner en continu les modèles les plus performants et adaptés aux besoins de l'Institut. Actuellement, deux tailles du modèle GPT OSS d'OpenAI sont proposées — un modèle open source non commercial dont les données restent strictement hébergées à Toulouse. Un modèle de Mistral AI est par ailleurs en cours de test, pour ses performances prometteuses et son optimisation pour l'infrastructure INRAE. L'architecture a été dimensionnée pour supporter plusieurs centaines de connexions simultanées, en conjuguant performance, disponibilité et résilience. ## Facteurs de réussite et défis transversaux La conduite du projet a mobilisé une équipe pluridisciplinaire réunissant des membres de la DSI, de la DipSO, de DIAGONAL et des chercheurs, coordonnée par une cellule IA dédiée, rattachée au Collège de direction et associant la DSI, la DG Recherche et la DG Appui. Plusieurs facteurs ont été déterminants : une gouvernance structurée distinguant clairement les phases d'expérimentation et de production, une conformité rigoureuse au RGPD et à l'AI Act européen, un niveau élevé de sécurisation des flux internes et de supervision, ainsi qu'une ambition affirmée de tendre vers la frugalité numérique — à travers l'optimisation de l'usage des ressources GPU et le suivi de la consommation énergétique — témoignant d'une ambition de responsabilité environnementale. ## Bilan et perspectives Ce retour d'expérience démontre qu'un établissement public peut concevoir, héberger et exploiter une solution d'IA générative à la fois souveraine, éthique et performante. La généralisation du chatbot à l'ensemble des agents est prévue pour avril 2026, suivie d'une phase de mutualisation avec des partenaires à l'automne. Les enseignements portent notamment sur le rôle structurant d'une chaîne technique entièrement open source, sur la nécessité d'une coordination interdisciplinaire étroite et sur l'importance de l'accompagnement des utilisateurs — via un plan de formation structuré en trois phases à horizon 2027 — et sur la valeur d'une stratégie assumant pleinement la maîtrise interne tout en restant ouverte aux mutualisations futures. L'intervention fournira aux participants des repères concrets pour évaluer la faisabilité d'une démarche similaire au sein de leur propre organisation.