INVESTIGACION
HyperBrowseComp revela que el 57,68% de preguntas multilingües queda sin resolver por agentes de búsqueda
HyperBrowseComp, un nuevo benchmark con 423 preguntas en 13 idiomas, revela una debilidad práctica de los agentes de búsqueda: con búsqueda nativa, cinco sistemas dejaron sin respuesta el 57,68% de los casos. Los resultados dependen del buscador y del “harness”; cambiar la recuperación alteró aciertos y cómputo, que en algunas ejecuciones roza mil millones de tokens y días de trabajo.
Qué ha ocurrido
Alham Fikri Aji presentó HyperBrowseComp, un benchmark de 423 preguntas redactadas y validadas por humanos en 13 idiomas, donde el 64% exige fuentes no textuales (vídeo, mapas, documentos escaneados, tablas o audio). En pruebas con búsqueda nativa, cinco sistemas dejaron sin respuesta el 57,68% de las preguntas; el mejor resultado fue Gemini 3.7 Flash con un 31,68% de aciertos. El benchmark y el dataset están disponibles públicamente.
Qué significa para creadores
Para investigación que cruza idiomas y formatos, los agentes actuales fallan con frecuencia y dependen fuertemente de cómo se recupera la evidencia. Si los usas para documentar contenido, planifica verificación manual, guarda el rastro de fuentes y atiende a la configuración de búsqueda y al orquestador: sustituir la búsqueda nativa por Exa cambió los aciertos y el consumo. Considera también los fallos de herramientas y el coste computacional.
Fuente y contexto
El estudio se sitúa junto a BrowseComp de OpenAI, pero combina búsqueda abierta con preguntas nativas multilingües y evidencia en distintos medios. Los autores escribieron y revisaron las 423 preguntas y filtraron 77 candidatas tras probar modelos sin Internet. En una muestra de 30, humanos acertaron 15 y Gemini 3.7 Flash 13; señalan que esa muestra cubrió solo indonesio, tailandés y vietnamita y que la dificultad varía entre idiomas. El rendimiento depende del buscador y del “harness”: con Exa, GPT‑5.6 Sol consumió 928,8 M de tokens (75,1 h) y Gemini 663,9 M (22,7 h). Aji advierte que una ejecución puede acercarse a mil millones de tokens y llevar días, y que las puntuaciones no equivalen a un ranking general.