HERRAMIENTAS
STROT convierte instrucciones de LLM en flujos de decisión locales con un modelo pequeño
STROT, proyecto abierto de Amit Rath, usa un modelo grande para compilar instrucciones de desarrollador en un artefacto Python y delega en un modelo local pequeño la clasificación y el ruteo en producción. Ofrece APIs run() y decide() con abstención. Reporta 92,5% en un benchmark de 398 registros (~60 ms/CPU). Una demo de Pac‑Man revela límites.
Qué ha ocurrido
STROT convierte indicaciones de un desarrollador en un artefacto Python autónomo con ayuda de un LLM grande y, en ejecución, usa un modelo local pequeño para decisiones repetitivas (clasificación, ruteo y sí/no). Expone run() y decide(), con opción de abstenerse bajo un umbral configurado; el artefacto generado es desplegable sin la propia librería. Por defecto emplea Julia‑1 (144M parámetros). El proyecto reporta 92,5% de acierto en 398 registros frente a un baseline del mismo modelo (74,8%) y unos ~60 ms por registro en CPU. Un demo de Pac‑Man (actualizado el 19 de octubre) ilustra tanto un recorrido exitoso (400 frames, 630 puntos, 63/167) como una limitación: la estrategia del modelo local varía entre compilas y no responde de forma fiable al estado. Código y métricas están publicados; el paquete está en PyPI como alfa y con licencia MIT.
Qué significa para creadores
Si tu trabajo implica decisiones repetitivas y bien acotadas, STROT propone compilar el flujo una vez y ejecutar localmente decisiones rápidas, reduciendo latencia y dependencia de APIs generativas por registro. A cambio, exige preparar buenos ejemplos y acciones permitidas, definir umbrales y planes para abstenciones, y auditar resultados. Las cifras de rendimiento son del proyecto y pueden no trasladarse a datos cambiantes; la demo muestra que, aunque el código sea inspeccionable, el modelo puede equivocarse o fijar estrategias poco sensibles al contexto. Útil cuando hay volúmenes estables y categorías claras; requieres validación (p. ej., “golden records”), monitorización y un fallback. El coste de cómputo local y las llamadas durante la compilación siguen existiendo.
Fuente y contexto
Según RuntimeWire, STROT lleva una línea de trabajo de 2025 (esquemas, prompts estructurados y feedback de ejecución) a una herramienta abierta instalable, con documentación, repositorio y benchmark reproducible. El proyecto afirma “costo marginal LLM cero” en tiempo de ejecución porque evita llamadas hospedadas por registro, sin excluir el coste de la máquina ni de la compilación. La actualización del repositorio del 19 de octubre añade el demo de Pac‑Man y documenta la varianza del modelo; las métricas y la grabación son evidencias del proyecto y no sustituyen pruebas en datos reales.