Evaluación con IA conforme al MCER: cómo Talketet ha creado una prueba de idiomas fiable

La mayoría de las pruebas de idiomas que se usan en selección de personal se apoya en una validación académica débil.

El motivo es estructural. En la mayoría de los casos, la prueba de idiomas es solo un módulo dentro de un paquete de evaluación previa a la contratación más amplio, junto a pruebas cognitivas, cuestionarios de personalidad y ejercicios de juicio situacional.

El paquete se vende como un único producto y las evidencias de validez se presentan también como un único bloque. Así, la parte lingüística hereda una credibilidad que nunca se ganó por sí sola.

Las pruebas de Talketet para selección, en cambio, se apoyan en una validación académica profunda y están diseñadas para contextos de contratación.

De este modo, ofrecemos a los responsables de selección una prueba de idiomas de alta calidad a un precio adecuado para la contratación en volumen.

La mayoría de las pruebas estandarizadas de inglés y de otros idiomas para selección tiene una validez débil

En el mercado de la selección, la opción múltiple sigue siendo el formato por defecto.

El candidato lee una frase, elige la preposición que falta y sale una puntuación.

Estos cuestionarios de gramática no indican si esa persona sabrá atender por teléfono la queja de un cliente o escribirle un correo claro.

La diferencia importa, porque quien selecciona necesita saber si el candidato habla y escribe al nivel que exige el puesto.

Medir solo la comprensión lectora y auditiva y dar por hecho que la expresión está al mismo nivel es una conjetura.

Hasta hace poco había una excusa. Evaluar la expresión oral y escrita a gran escala exigía evaluadores humanos, formación, calibración y costes.

La IA ha cambiado eso. Herramientas como Talketet evalúan el habla y la escritura como lo haría un evaluador formado.

Cómo elegir la herramienta de evaluación lingüística más fiable para contratar

Cuatro preguntas separan una prueba realmente validada de otra que solo lo aparenta.

• ¿La prueba puntúa la expresión oral y escrita o solo la gramática, la comprensión auditiva y la lectora?
• ¿La correspondencia con el MCER está recogida en un documento que el comprador pueda leer?
• ¿Se ha medido la coherencia de la puntuación?
• ¿Quién realizó la validación y tenía algún interés comercial en el resultado?

Casi cualquier proveedor responderá que sí a las tres primeras. Lo útil es pedir el documento que hay detrás de cada sí.

La prueba de idiomas de Talketet ha sido validada por investigadores independientes de universidades europeas de referencia. Escríbenos y te enviaremos la documentación.

¿Cómo ha construido Talketet una IA conforme al MCER que puntúa como un evaluador humano?

El punto de partida es el constructo, es decir, aquello que la prueba se propone medir. Nuestro marco combina los descriptores del MCER con la teoría de la procesabilidad, que describe cómo la lengua del aprendiz se desarrolla siguiendo una secuencia fija de estadios, uno tras otro.

Así, la evaluación puede comprobar si el nivel que muestra el candidato encaja con la forma en que realmente se aprende una segunda lengua.

De ahí se deriva el diseño de los ítems. Reducimos al mínimo la opción múltiple, porque se puede acertar por azar, y la sustituimos siempre que es posible por tareas en las que el candidato debe hablar o escribir.

Las respuestas se puntúan después con una rúbrica explícita de pesos fijos: gramática, contenido, léxico, comprensión, cohesión, más fluidez y pronunciación en la parte oral.

Las puntuaciones se trasladan a los niveles del MCER para cada destreza y para la prueba en su conjunto.

La coherencia es el punto donde una puntuación automática puede fallar, así que la medimos de forma directa. Puntuamos una y otra vez las mismas respuestas y observamos cuánto variaban los resultados entre ejecuciones. Los parámetros resultaron coherentes en más del 95 % de los casos.

Esta investigación demostró que la IA de Talketet ofrece resultados conformes al MCER, igual que harían evaluadores humanos.

El método completo, los pesos y los resultados se detallan en los artículos de nuestra sección de investigación.

Pruebas de idiomas y validación: qué demuestra de verdad la investigación académica

Una validación profunda es rara en la evaluación de lenguas. Suele darse solo en los exámenes de alto impacto, donde una única puntuación puede decidir si una universidad admite a un estudiante.

Esos exámenes publican su investigación y explican con precisión qué miden y cómo puntúan.

Su precio, sin embargo, está pensado para una persona que se presenta a un examen, de modo que resultan demasiado caros para la selección de personal.

En Talketet queríamos ese mismo nivel de calidad en nuestras pruebas, con un precio escalable para la selección.

Hicimos este trabajo con investigadores de lingüística de la Universidad de Pavía y de la Universidad de Roma Tor Vergata.

Los resultados se presentaron en CLiC-it 2025 (italiano como segunda lengua) y en los congresos de la AIA (Asociación Italiana de Estudios Ingleses) y del GSCP (Grupo de Estudio sobre la Comunicación Hablada) para el inglés.

El proceso de validación pasó por revisión por pares: nuestros artículos son públicos y se pueden consultar libremente.

Quienes validaron nuestro marco y nuestra tecnología fueron investigadores de lingüística sin ningún interés comercial.

Cómo se ha validado frente a los sesgos la evaluación lingüística de Talketet

Un sesgo aparece en una prueba de idiomas cuando los candidatos que comparten un rasgo ajeno a la competencia lingüística obtienen, como grupo, puntuaciones distintas.

En la contratación eso es un problema jurídico además de un problema de medición, y el reglamento europeo de inteligencia artificial (AI Act) trata en consecuencia la evaluación en el ámbito laboral.

La primera comprobación publicada se centró en el género de quien habla. Presentamos las mismas respuestas orales con una voz masculina y otra femenina, en todos los parámetros de puntuación, para ver si el modelo reaccionaba a la persona y no a la actuación. El género no tuvo un efecto relevante en las puntuaciones.

Encontrarás más información en este artículo.

Este estudio convierte a Talketet en una de las pocas herramientas de evaluación lingüística con IA para selección que se han validado frente a los sesgos.

Evaluación lingüística fiable para la contratación en volumen

Antes, quien contrataba en grandes volúmenes tenía que elegir entre dos opciones:

• una prueba de idiomas validada pero cara, con evaluadores humanos
• una prueba de opción múltiple barata pero poco precisa

Con Talketet ahora se obtiene lo mejor de ambas:

una prueba de idiomas validada en profundidad, con un precio por volumen que escala con las necesidades de selección.