Hugging Face explora el código como interfaz entre la IA y el mundo físico

Hugging Face publicó el 18 de septiembre de 2026 un artículo sobre el uso del código como interfaz entre agentes de IA y sistemas externos, incluidos robots, simuladores y entornos físicos. El texto plantea que un modelo puede generar un programa, ejecutarlo, analizar el resultado y modificarlo a partir de la respuesta del entorno.

En robótica, este enfoque permite expresar en código la secuencia de acciones y sus condiciones. Un agente puede localizar un objeto, comprobar si es alcanzable, ejecutar un agarre, verificar si ha tenido éxito y ajustar el plan antes de intentar colocar el objeto en su destino. Según el artículo, esta representación facilita inspeccionar la lógica, combinar detectores, planificadores y controladores, y modificar partes concretas de una tarea tras un fallo.

El artículo repasa Code as Policies (2022), un trabajo que emplea modelos de lenguaje para generar código de políticas robóticas mediante APIs de percepción y control. También aborda CaP-X, que estudia cómo las abstracciones de acción, la interacción de varios turnos y la información estructurada sobre los errores afectan al rendimiento de los modelos.

Entre las líneas analizadas figura CaP-Agent0, que utiliza observaciones visuales, resultados estructurados de las ejecuciones y programas candidatos para revisar controladores de Python entre pruebas. Hugging Face distingue entre el aprendizaje en contexto, basado en editar el programa con la información de intentos anteriores, y el aprendizaje durante el entrenamiento, en el que la respuesta de la tarea sirve como recompensa.

La publicación también presenta la colección awesome-code-as-x, organizada en las áreas Code as Policy, Code as World, Programmable World Models y Edit Graph. Además, menciona Show-Harness, que conecta modelos de visión y lenguaje con distintos robots mediante unidades de acción semánticas y un intérprete específico para cada plataforma.

Fuente: Hugging Face.