INVESTIGACION
Mercor publica un mapa de benchmarks de IA sobre ocupaciones de EE. UU. y advierte amplia falta de cobertura
Mercor ha lanzado un mapa interactivo que enlaza 29 benchmarks de IA con tareas del sistema O*NET del Departamento de Trabajo de EE. UU. Su primer recuento cubre al menos una tarea en 208 de 923 ocupaciones y estima, con un modelo, que cerca del 90% de las horas laborales recaen en tareas sin cobertura adecuada, con importantes cautelas metodológicas.
Qué ha ocurrido
El 15 de octubre, Mercor presentó un mapa interactivo que vincula 29 benchmarks públicos con tareas del O*NET y reporta cobertura de al menos una tarea en 208 de 923 ocupaciones de EE. UU. La empresa estima, mediante un modelo que combina esa cobertura con tiempos de trabajo por tarea inferidos por LLM, que alrededor del 90% de las horas laborales recaen en tareas sin cobertura adecuada. Un juez LLM mapea los prompts de los benchmarks a tareas y una tarea se considera cubierta solo si conecta con cinco o más prompts. Mercor subraya que este resultado mide representación de benchmarks, no si la IA puede realizar un empleo específico, y que la selección de benchmarks y supuestos metodológicos condicionan las cifras.
Qué significa para creadores
Para creadores en España, el mapa es útil como auditoría de dónde existen evaluaciones más maduras y dónde faltan, pero no debe usarse como pronóstico directo de automatización. La cobertura se concentra en ingeniería de software y análisis financiero, mientras que tareas físicas están poco representadas; además, cobertura no equivale a fiabilidad en un entorno real. Úsalo para: priorizar pilotos en tareas con evaluaciones disponibles; exigir evidencias cuando un proveedor alegue rendimientos en áreas sin cobertura; y diseñar pruebas internas que reflejen tareas reales y asistencia parcial de la IA, dado que el propio estudio señala baja potencia estadística, dificultad desigual entre tareas y la complejidad de medir sistemas que asisten en lugar de sustituir.
Fuente y contexto
Mercor, fundada en 2023 por Brendan Foody, Adarsh Hiremath y Surya Midha, pasó de una plataforma de contratación de IA a conectar especialistas con laboratorios y empresas para entrenamiento y evaluación, y ahora a medir el progreso de la IA frente al trabajo. El mapa es provisional: la lista de 29 benchmarks no es exhaustiva, se limitó por familia ocupacional y requiere juicios subjetivos sobre realismo económico. La firma probó un enfoque ponderado por O*NET en sus APEX para banca de inversión, derecho, contabilidad e ingeniería de software y halló resultados similares a promedios simples, con menos de un tercio de tareas con suficientes prompts, lo que revela baja cobertura efectiva. El lanzamiento destaca que aún falta un conjunto más amplio y diverso de benchmarks y que los resultados no establecen si los puntajes predicen efectos en el lugar de trabajo.