XYBench: los modelos responden a la pregunta literal y no al problema real
Ai2 y tres universidades publican 8.115 preguntas con concepciones erróneas y prueban que los asistentes insisten en el enfoque equivocado
Ai2 publica XYBench, una prueba de referencia con 8.115 preguntas basadas en un enfoque equivocado: Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro responden a la petición literal más a menudo que al objetivo real del usuario. El conjunto, distinguido con el premio al Mejor Recurso en EMNLP 2026, queda disponible en Hugging Face junto al paper y el código.
Qué ha ocurrido
Un asistente útil no debería limitarse a contestar lo que se le pregunta con letra. XYBench, publicado por Ai2 el 13 de noviembre junto a investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, pone a prueba esa capacidad con 8.115 preguntas que arrastran un planteamiento erróneo: el usuario quiere lograr X, supone que el camino Y funcionará y pide ayuda con Y.
El ejemplo del anuncio: alguien pregunta cómo espesar una crema de mantequilla que se desliza por el cupcake, cuando el problema real es que el bizcocho sigue caliente.
Las preguntas vienen de cuatro fuentes: 1.557 de Stack Overflow, 184 de Stack Exchange, 102 ejemplos curados a mano y 6.272 generados a partir de guías de WikiHow con Claude Sonnet 4.5. Para los foros, el equipo usó las respuestas humanas mejor valoradas y la aceptada para fijar el objetivo real de cada consulta.
Lo que miden y qué muestran los números
La prueba evalúa tres aspectos de cada respuesta: si incluye una solución a la petición literal (Y) y al objetivo real (X), medidos por separado; dónde pone el foco; y si identifica la concepción errónea y desvía al usuario del enfoque equivocado. Como juez automático sirve Claude Sonnet 4.5, validado por dos revisores humanos sobre 500 respuestas: coincidencia del 97,5-100 % en la presencia de soluciones y del 84,6-93,3 % en la identificación de errores, algo menor (74,2-79,8 %) en el énfasis.
Los resultados, según la entrada del blog: en Stack Overflow, los cinco modelos evaluados —Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro— incluyeron una solución a la petición literal en el 75-86 % de las respuestas, frente al 59-71 % que tocaron el objetivo real. El foco principal estuvo en el objetivo real solo en el 35-41 % de los casos. Todos quedaron por debajo de las respuestas humanas de referencia.
Saben, pero no lo hacen
En un experimento aparte, a los mismos cinco modelos y a GPT-4.1 se les pidió elegir entre dos respuestas a la misma pregunta: una centrada en lo literal y otra que explicaba el error y atacaba el problema de fondo. Todas eligieron la correcta en el 71-84 % de los casos, cuando solo el 35-41 % de las respuestas que ellas mismas escribían se centraban en el objetivo.
Reconocen el consejo útil y no lo generan: una brecha que un test de opción múltiple no detectaría. Darles la intención del usuario en bandeja tampoco lo arregla. En un experimento oráculo, con la petición Y y el objetivo X explícitos, Claude Sonnet 4.6 subió su tasa de solución al objetivo real del 59 % al 67 %, pero su identificación de la concepción errónea cayó del 47 % al 34 %: saber la intención no basta si el modelo no actúa contra lo que el usuario pidió.
Límites y por qué importa
La propia entrada reconoce el alcance: XYBench cubre solo inglés y problemas principalmente procedimentales, y queda pendiente extenderlo a otros idiomas, culturas y conversaciones de varias vueltas. El paper en arXiv (6 de septiembre de 2026) sitúa la identificación de concepciones erróneas de los modelos evaluados en un máximo del 63 %, frente al 79-90 % humano.
El dataset se distribuye con licencia CC BY-NC-SA 3.0 (sin uso comercial) junto al paper y el código. Ningún estudio externo ha replicado todavía estos números: son resultados de los propios autores, con su juez automático validado por muestra.
Qué cambió
Qué sabemos · qué no
Confirmado
- XYBench contiene 8.115 preguntas: 1.557 de Stack Overflow, 184 de Stack Exchange, 102 curadas a mano y 6.272 generadas de WikiHow con Claude Sonnet 4.5.
- Desarrollado por Ai2 con investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins; premio al Mejor Recurso en EMNLP 2026.
- En Stack Overflow, los modelos evaluados incluyeron soluciones a la petición literal en el 75-86 % de los casos y al objetivo real en el 59-71 %; el foco principal en el objetivo real fue del 35-41 %.
- Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro quedaron por debajo de las referencias humanas en identificación de concepciones erróneas.
- Elegiendo entre dos respuestas ya escritas, los seis modelos probados eligieron la centrada en el objetivo real en el 71-84 % de los casos.
- El juez automático (Claude Sonnet 4.5) coincidió con dos revisores humanos en el 97,5-100 % de los casos en presencia de solución y en el 84,6-93,3 % en identificación de errores.
Todavía no
- El porcentaje exacto de identificación de concepciones erróneas por modelo: la entrada del blog no lo desglosa y el abstract lo resume en un máximo del 63 %.
- Cómo se comportan los modelos en conversaciones de varias vueltas o en otros idiomas: XYBench cubre solo inglés y problemas principalmente procedimentales.
- Las preguntas de WikiHow son sintéticas, generadas con un modelo; no está medido cuánto sesgan los resultados respecto a las consultas humanas.
- Ninguna réplica independiente ha contrastado todavía los números de los autores.
La misma claridad, en tu correo.
IA HOY, gratis de lunes a viernes, con fuentes y contexto.
Para ir al grano técnico
Qué vigilamos ahora
Si los próximos lanzamientos de modelos mejoran en identificar concepciones erróneas y el equipo amplía XYBench a más idiomas y a conversaciones reales de varias vueltas.
Fuentes
Naturaleza de la afirmación principal: Resultado de investigación. Fuente primaria consultada y verificable.
- Hugging Face Blog — Ai2 · nivel 1 · primaria · consultada 15 nov 2026
- arXiv 2609.06842 · nivel 1 · primaria · consultada 15 nov 2026
- Hugging Face — dataset allenai/XYBench-dataset · nivel 1 · primaria · consultada 15 nov 2026
IA HOY · de lunes a viernes
La misma claridad,
cada día, en tu correo.
Una noticia principal, una selección breve y el contexto o las dudas que conviene seguir. Con fuentes y sin rellenar cupos.
Para seguir leyendo
Investigación ·
OpenAI amplía a 200.000 investigadores su programa de ChatGPT gratuito
Investigación ·
Borrar la memoria «caducada» empeora a los agentes de IA cuando falla el clasificador
Investigación ·
GPT-6 Astra ayuda a esbozar la primera definición en retícula del Modelo Estándar
Investigación ·
AlphaGenome 2 predice el efecto de una variante del ADN célula a célula