LLM Tool : un pipeline hybride pour l'annotation de texte en grand volume
Présentée à l'ACSP (Ottawa, 2-4 juin 2026), cette présentation introduit LLM Tool : un pipeline d'annotation hybride conçu pour la science sociale computationnelle. Il associe la qualité interprétative des grands modèles de langage à la vitesse d'un classifieur BERT distillé : quelques milliers de phrases annotées par un LLM suffisent à entraîner un classifieur qui en annote des millions, l'évaluation restant ancrée dans le jugement humain. La présentation détaille l'idée de distillation, le protocole de validation, ce que montre le benchmark, et deux bases construites avec ces méthodes (CCF et YouPol).
Distillation de connaissances : la qualité d'un grand modèle à la vitesse d'un petit
Un LLM enseignant lit un codebook et annote ~38 000 phrases ; un classifieur élève XLM-RoBERTa apprend la logique d'étiquetage puis annote tout le corpus à environ 50 ms par phrase, soit un gain de 109 à 395x sur l'inférence LLM, avec les étiquettes humaines maintenues au centre de l'évaluation.
Validé contre le consensus humain : la complexité de la tâche creuse l'écart
Cinq annotateurs LLM (27-120B) ont été évalués sur un schéma de codage à 4 tâches contre les étiquettes consensus de quatre experts humains sur un jeu de test isolé. La performance se répartit en deux paliers, et c'est la complexité de la tâche, plus que la taille de l'annotateur, qui creuse l'écart : sur les 21 thèmes de politique, le GPT-OSS open-weight dépasse même GPT-5.
Scroll Navigate between slides Click Interact with data Fullscreen for a better experience
Utilisez les touches fléchées ou cliquez pour naviguer entre les diapositives.