Notation par IA conforme au CECRL : comment Talketet a conçu un test de langue fiable

La plupart des tests de langue utilisés en recrutement reposent sur une validation scientifique faible.

La raison est structurelle. Dans la plupart des cas, le test de langue n'est qu'un module parmi d'autres au sein d'une batterie d'évaluations préalables à l'embauche, aux côtés de tests cognitifs, de questionnaires de personnalité et de mises en situation.

L'ensemble est vendu comme un seul produit et les preuves de validité sont présentées comme un seul bloc. La partie linguistique hérite ainsi d'une crédibilité qu'elle n'a jamais acquise par elle-même.

Les tests Talketet destinés au recrutement s'appuient au contraire sur une validation scientifique approfondie et sont conçus pour les situations d'embauche.

Les recruteurs disposent ainsi d'un test de langue de haut niveau, à un tarif adapté au recrutement en volume.

La plupart des tests d'anglais et de langues standardisés pour le recrutement ont une validité faible

Sur le marché du recrutement, le questionnaire à choix multiples reste la norme.

Le candidat lit une phrase, choisit la préposition manquante, et un score tombe.

Ces exercices de grammaire ne disent pas si la personne saura traiter la réclamation d'un client au téléphone ou lui écrire un e-mail clair.

L'écart compte, car le recruteur a besoin de savoir si le candidat parle et écrit au niveau exigé par le poste.

Ne mesurer que la lecture et l'écoute, puis supposer que l'expression suit le même niveau, revient à parier.

Jusqu'à récemment, cela s'expliquait. Évaluer l'expression orale et écrite à grande échelle supposait des examinateurs humains, de la formation, du calibrage et des coûts.

L'IA a changé la donne. Des outils comme Talketet évaluent l'oral et l'écrit comme le ferait un examinateur formé.

Comment choisir l'outil d'évaluation linguistique le plus fiable pour recruter

Quatre questions permettent de distinguer un test réellement validé d'un test qui se contente d'en avoir l'air.

• Le test évalue-t-il l'expression orale et écrite, ou seulement la grammaire, la compréhension orale et la compréhension écrite ?
• L'alignement sur le CECRL est-il consigné dans un document que l'acheteur peut consulter ?
• La cohérence de la notation a-t-elle été mesurée ?
• Qui a mené la validation et avait-il un intérêt commercial dans le résultat ?

Presque tous les fournisseurs répondront oui aux trois premières. L'utile est de demander le document qui se trouve derrière chaque oui.

Le test de langue Talketet a été validé par des chercheurs indépendants de grandes universités européennes. Écrivez-nous et nous vous transmettrons la documentation.

Comment Talketet a-t-il conçu une IA conforme au CECRL qui note comme un examinateur humain ?

Le point de départ est le construit, c'est-à-dire ce que le test cherche à mesurer. Notre cadre associe les descripteurs du CECRL à la théorie de la processabilité, qui décrit le développement de la langue de l'apprenant selon une suite d'étapes fixes, l'une après l'autre.

L'évaluation peut ainsi vérifier si le niveau observé chez un candidat correspond à la façon dont une langue seconde s'acquiert réellement.

La conception des items en découle. Nous réduisons le choix multiple au minimum, car il se devine, et nous le remplaçons dès que possible par des tâches où le candidat doit parler ou écrire.

Les réponses sont ensuite notées selon une grille explicite à pondérations fixes : grammaire, contenu, lexique, compréhension, cohésion, auxquels s'ajoutent la fluidité et la prononciation à l'oral.

Les scores sont rapportés aux niveaux du CECRL, compétence par compétence et pour l'épreuve dans son ensemble.

La cohérence est le point où une notation automatique peut céder : nous l'avons donc mesurée directement. Nous avons noté plusieurs fois les mêmes réponses, puis observé l'écart entre les passages. Les paramètres se sont révélés cohérents dans plus de 95 % des cas.

Ces travaux ont démontré que l'IA de Talketet restitue des résultats conformes au CECRL, à la manière d'évaluateurs humains.

La méthode complète, les pondérations et les résultats figurent dans les articles de notre rubrique recherche.

Tests de langue et validation : ce que la recherche universitaire démontre vraiment

Une validation approfondie reste rare en évaluation des langues. Elle concerne d'ordinaire les seuls examens à fort enjeu, où un score unique peut décider de l'admission d'un étudiant à l'université.

Ces examens publient leurs recherches et exposent précisément ce qu'ils mesurent et comment ils notent.

Leur tarif vise cependant une personne passant une épreuve, ce qui les rend trop coûteux pour le recrutement.

Chez Talketet, nous voulions ce même niveau de qualité, avec un tarif qui suit les volumes du recrutement.

Nous avons mené ces travaux avec des chercheurs en linguistique de l'université de Pavie et de l'université de Rome Tor Vergata.

Les résultats ont été présentés à CLiC-it 2025 (italien langue seconde) ainsi qu'aux colloques de l'AIA (association italienne d'anglistique) et du GSCP (groupe d'étude sur la communication parlée) pour l'anglais.

Le processus de validation est passé par une évaluation par les pairs : nos articles sont publics et librement consultables.

Ce sont des chercheurs en linguistique sans intérêt commercial qui ont validé notre cadre et notre technologie.

Comment l'évaluation linguistique Talketet a été testée contre les biais

Un biais apparaît dans un test de langue lorsque les candidats partageant une caractéristique étrangère à la compétence linguistique obtiennent, en tant que groupe, des scores différents.

En recrutement, c'est autant un problème juridique qu'un problème de mesure, et le règlement européen sur l'intelligence artificielle (AI Act) traite en conséquence l'évaluation en contexte professionnel.

Le premier contrôle publié portait sur le genre du locuteur. Nous avons soumis les mêmes réponses orales avec une voix masculine puis une voix féminine, sur l'ensemble des paramètres de notation, afin de voir si le modèle réagissait à la personne plutôt qu'à la prestation. Le genre n'a eu aucun effet notable sur les scores.

Vous trouverez plus de détails dans cet article.

Cette étude fait de Talketet l'un des rares outils d'évaluation linguistique par IA destinés au recrutement à avoir été testés contre les biais.

Une évaluation linguistique fiable pour le recrutement en volume

Auparavant, les recruteurs qui embauchaient en volume devaient choisir entre deux options :

• un test de langue validé mais coûteux, avec des examinateurs humains
• un test à choix multiples économique mais peu précis

Avec Talketet, ils obtiennent désormais le meilleur des deux :

un test de langue validé en profondeur, assorti d'une tarification au volume qui suit les besoins du recrutement.