Saltar al contenido
Fuentes. Contexto. Criterio.SEÑALIA SIN RUIDOBoletín gratis
martes, 17 de noviembre de 2026
InvestigaciónNoticia · 3 min de lecturaResultado de investigaciónConfianza alta

XYBench: los modelos responden a la pregunta literal y no al problema real

Ai2 y tres universidades publican 8.115 preguntas con concepciones erróneas y prueban que los asistentes insisten en el enfoque equivocado

Redacción automática SEÑALResponsable editorial: Sergio SallaveraEl hecho: 13 nov 2026

Ai2 publica XYBench, una prueba de referencia con 8.115 preguntas basadas en un enfoque equivocado: Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro responden a la petición literal más a menudo que al objetivo real del usuario. El conjunto, distinguido con el premio al Mejor Recurso en EMNLP 2026, queda disponible en Hugging Face junto al paper y el código.

Qué ha ocurrido

Un asistente útil no debería limitarse a contestar lo que se le pregunta con letra. XYBench, publicado por Ai2 el 13 de noviembre junto a investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, pone a prueba esa capacidad con 8.115 preguntas que arrastran un planteamiento erróneo: el usuario quiere lograr X, supone que el camino Y funcionará y pide ayuda con Y.

El ejemplo del anuncio: alguien pregunta cómo espesar una crema de mantequilla que se desliza por el cupcake, cuando el problema real es que el bizcocho sigue caliente.

Las preguntas vienen de cuatro fuentes: 1.557 de Stack Overflow, 184 de Stack Exchange, 102 ejemplos curados a mano y 6.272 generados a partir de guías de WikiHow con Claude Sonnet 4.5. Para los foros, el equipo usó las respuestas humanas mejor valoradas y la aceptada para fijar el objetivo real de cada consulta.

Lo que miden y qué muestran los números

La prueba evalúa tres aspectos de cada respuesta: si incluye una solución a la petición literal (Y) y al objetivo real (X), medidos por separado; dónde pone el foco; y si identifica la concepción errónea y desvía al usuario del enfoque equivocado. Como juez automático sirve Claude Sonnet 4.5, validado por dos revisores humanos sobre 500 respuestas: coincidencia del 97,5-100 % en la presencia de soluciones y del 84,6-93,3 % en la identificación de errores, algo menor (74,2-79,8 %) en el énfasis.

Los resultados, según la entrada del blog: en Stack Overflow, los cinco modelos evaluados —Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro— incluyeron una solución a la petición literal en el 75-86 % de las respuestas, frente al 59-71 % que tocaron el objetivo real. El foco principal estuvo en el objetivo real solo en el 35-41 % de los casos. Todos quedaron por debajo de las respuestas humanas de referencia.

Saben, pero no lo hacen

En un experimento aparte, a los mismos cinco modelos y a GPT-4.1 se les pidió elegir entre dos respuestas a la misma pregunta: una centrada en lo literal y otra que explicaba el error y atacaba el problema de fondo. Todas eligieron la correcta en el 71-84 % de los casos, cuando solo el 35-41 % de las respuestas que ellas mismas escribían se centraban en el objetivo.

Reconocen el consejo útil y no lo generan: una brecha que un test de opción múltiple no detectaría. Darles la intención del usuario en bandeja tampoco lo arregla. En un experimento oráculo, con la petición Y y el objetivo X explícitos, Claude Sonnet 4.6 subió su tasa de solución al objetivo real del 59 % al 67 %, pero su identificación de la concepción errónea cayó del 47 % al 34 %: saber la intención no basta si el modelo no actúa contra lo que el usuario pidió.

Límites y por qué importa

La propia entrada reconoce el alcance: XYBench cubre solo inglés y problemas principalmente procedimentales, y queda pendiente extenderlo a otros idiomas, culturas y conversaciones de varias vueltas. El paper en arXiv (6 de septiembre de 2026) sitúa la identificación de concepciones erróneas de los modelos evaluados en un máximo del 63 %, frente al 79-90 % humano.

El dataset se distribuye con licencia CC BY-NC-SA 3.0 (sin uso comercial) junto al paper y el código. Ningún estudio externo ha replicado todavía estos números: son resultados de los propios autores, con su juez automático validado por muestra.

Qué cambió

AntesNo había una prueba que separara si un modelo resuelve la petición literal, si enfoca su respuesta en ella y si detecta el planteamiento equivocado del usuario.
AhoraXYBench mide esas tres cosas por separado sobre 8.115 consultas reales y muestra que los modelos evaluados anteponen lo literal al objetivo real.
ConsecuenciaInvestigadores y equipos pueden evaluar mejoras de entrenamiento o prompting en redirigir al usuario, no solo en responder rápido.

Qué sabemos · qué no

Confirmado

  • XYBench contiene 8.115 preguntas: 1.557 de Stack Overflow, 184 de Stack Exchange, 102 curadas a mano y 6.272 generadas de WikiHow con Claude Sonnet 4.5.
  • Desarrollado por Ai2 con investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins; premio al Mejor Recurso en EMNLP 2026.
  • En Stack Overflow, los modelos evaluados incluyeron soluciones a la petición literal en el 75-86 % de los casos y al objetivo real en el 59-71 %; el foco principal en el objetivo real fue del 35-41 %.
  • Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro quedaron por debajo de las referencias humanas en identificación de concepciones erróneas.
  • Elegiendo entre dos respuestas ya escritas, los seis modelos probados eligieron la centrada en el objetivo real en el 71-84 % de los casos.
  • El juez automático (Claude Sonnet 4.5) coincidió con dos revisores humanos en el 97,5-100 % de los casos en presencia de solución y en el 84,6-93,3 % en identificación de errores.

Todavía no

  • El porcentaje exacto de identificación de concepciones erróneas por modelo: la entrada del blog no lo desglosa y el abstract lo resume en un máximo del 63 %.
  • Cómo se comportan los modelos en conversaciones de varias vueltas o en otros idiomas: XYBench cubre solo inglés y problemas principalmente procedimentales.
  • Las preguntas de WikiHow son sintéticas, generadas con un modelo; no está medido cuánto sesgan los resultados respecto a las consultas humanas.
  • Ninguna réplica independiente ha contrastado todavía los números de los autores.

La misma claridad, en tu correo.

IA HOY, gratis de lunes a viernes, con fuentes y contexto.

Para ir al grano técnico

Qué vigilamos ahora

Si los próximos lanzamientos de modelos mejoran en identificar concepciones erróneas y el equipo amplía XYBench a más idiomas y a conversaciones reales de varias vueltas.

Fuentes

Naturaleza de la afirmación principal: Resultado de investigación. Fuente primaria consultada y verificable.

  1. Hugging Face Blog — Ai2 · nivel 1 · primaria · consultada 15 nov 2026
  2. arXiv 2609.06842 · nivel 1 · primaria · consultada 15 nov 2026
  3. Hugging Face — dataset allenai/XYBench-dataset · nivel 1 · primaria · consultada 15 nov 2026

IA HOY · de lunes a viernes

La misma claridad,
cada día, en tu correo.

Una noticia principal, una selección breve y el contexto o las dudas que conviene seguir. Con fuentes y sin rellenar cupos.

Ver una edición de ejemplo

Para seguir leyendo