LLM Tool : améliorer la transparence et la validité en analyse textuelle computationnelle
Présentée à l'EPSS (Belfast, 18-20 juin 2026), cette courte présentation aborde LLM Tool comme une infrastructure méthodologique pour une analyse textuelle computationnelle transparente et validée. Plutôt que de traiter l'annotation par LLM comme une boîte noire, le pipeline consigne les prompts, codebooks, paramètres de modèles, sorties d'annotation, choix d'entraînement et résultats de validation afin que les décisions analytiques puissent être inspectées et reproduites.
Transparence par la consignation des choix analytiques
LLM Tool enregistre les paramètres qui structurent chaque annotation, des définitions conceptuelles et prompts à la configuration du modèle et à l'entraînement des classifieurs. Même lorsque la génération reste stochastique, le workflow préserve l'information nécessaire pour reconstruire l'opération.
Validation par comparaison au consensus humain
La présentation résume les résultats de validation sur quatre tâches d'annotation, en comparant les annotateurs LLM et les classifieurs entraînés à des étiquettes de consensus humain, et en montrant où la complexité de la tâche explique les écarts de performance.
Scroll Navigate between slides Click Interact with data Fullscreen for a better experience
Utilisez les touches fléchées ou cliquez pour naviguer entre les diapositives.