LLM Tool : un pipeline hybride transparent pour l'analyse computationnelle des politiques publiques
Présentée à l'IPPA IWPP5, atelier T09W02 « Machine learning, natural language processing and large language models for policy issues » (Ottawa, 7 juillet 2026), cette communication situe LLM Tool dans le champ de l'analyse computationnelle des politiques publiques. Une fois les débats parlementaires, auditions, mémoires, évaluations et couvertures médiatiques ramenés à un format textuel commun, la question se déplace vers l'annotation : comment elle est définie, comment elle est validée contre le jugement humain, et comment elle est documentée pour être réutilisée par d'autres équipes.
Transparence par la consignation des choix analytiques
LLM Tool enregistre les paramètres qui structurent chaque annotation, des définitions conceptuelles et prompts à la configuration du modèle et à l'entraînement des classifieurs. Même lorsque la génération reste stochastique, le workflow préserve l'information nécessaire pour reconstruire l'opération.
Validation par comparaison au consensus humain
La présentation résume les résultats de validation sur quatre tâches d'annotation, en comparant les annotateurs LLM et les classifieurs entraînés à des étiquettes de consensus humain, et en montrant où la complexité de la tâche explique les écarts de performance.
Scroll Navigate between slides Click Interact with data Fullscreen for a better experience
Utilisez les touches fléchées ou cliquez pour naviguer entre les diapositives.