El GEN-1.5 aprendizaje en contexto robótico permite que un robot intente una tarea nueva después de observar una única demostración de entre 3 y 12 segundos. Generalist AI asegura que su foundation model para robótica realiza esta adaptación sin actualizar sus pesos y sin pasar por un proceso de fine-tuning.
En una evaluación con diez tareas de manipulación, el modelo alcanzó un éxito medio del 59% tras la primera demostración. La cifra subió al 83% cuando se aplicaron diez pasos de descenso del gradiente sobre cinco minutos de datos por tarea, aunque la compañía reconoce que el aprendizaje dentro del contexto es más frágil.
GEN-1.5 utiliza una demostración como entrada de contexto y genera de inmediato trayectorias de acción. No convierte esa demostración en un nuevo entrenamiento ni modifica sus parámetros durante la ejecución.
Una demostración breve se convierte en una secuencia de acciones
GEN-1.5 combina vídeo con información sensorial, lenguaje y datos propioceptivos del robot. Mantiene hasta 30 segundos de memoria en el contexto y produce trayectorias de acción a 100 Hz. Generalist AI denomina physical prompt a la secuencia formada por las lecturas de los sensores y las acciones registradas durante una demostración.
Esas demostraciones pueden proceder de una persona que maneja unas pinzas, de una ejecución anterior del propio robot o de una interacción realizada con las manos delante de sus cámaras. Una interfaz de arrastrar y soltar permite seleccionar qué ejemplos se incorporan al contexto antes de que el sistema intente completar la tarea.
El modelo también puede encadenar demostraciones diferentes para producir un comportamiento más largo. En una demostración mostrada por la empresa, una secuencia comienza abriendo la cremallera de un estuche y continúa sacando el dinero que hay dentro. Asimismo, una demostración registrada en simulación puede servir como indicación para una tarea física, aunque el preentrenamiento no incluyera datos simulados.
Una capacidad que no se diseñó de forma explícita
Generalist AI afirma que no incorporó una arquitectura específica, un sistema de metaaprendizaje ni objetivos auxiliares destinados a fomentar el aprendizaje en contexto. La compañía tampoco ofrece una explicación definitiva sobre el origen de esta capacidad.
Su hipótesis es que las secuencias de observaciones y acciones físicas podrían compartir ciertos patrones con los datos lingüísticos que favorecen el aprendizaje en contexto. Otra posibilidad es que el modelo haya aprendido ciclos repetitivos del trabajo físico y pueda prolongarlos a partir de una observación parcial.
El preentrenamiento se prolonga desde hace más de ocho meses y se realizó con fragmentos continuos seleccionados de experiencias en hogares, almacenes, fábricas y otros entornos. Los llamados physical prompts introducen saltos temporales que no estaban presentes de esa forma durante el entrenamiento, y las tareas evaluadas no se incluyeron expresamente como ejemplos preparados para esta capacidad.
Resultados iniciales y límites de la evaluación
Las diez tareas analizadas incluyen abrir cremalleras, desenroscar tapas de tarros y sacar billetes de una cartera. Son gestos breves y relativamente concretos, por lo que los resultados no permiten extrapolar el rendimiento a tareas robóticas generales. El modelo puede crear trayectorias nuevas, usar herramientas no vistas —como un cepillo o una pala— y recurrir a las dos manos aunque la demostración señale una sola.
La adaptación mediante entrenamiento sigue ofreciendo mejores resultados en términos de estabilidad. Entre uno y diez pasos de gradiente aplicados a entre uno y cinco minutos de datos, equivalentes a entre diez y cincuenta demostraciones, bastan en algunos casos para adaptar el modelo a una tarea. Sin embargo, Generalist AI asegura que el aprendizaje con cero pasos superó ocasionalmente al ajuste con entre uno y cinco pasos sobre los mismos datos.
La evolución del proyecto parte de GEN-0, que mostró leyes de escala durante el preentrenamiento, y de GEN-1, que llegó a superar el 99% de éxito en una tarea individual tras el postentrenamiento. En GEN-1.5, la empresa redujo progresivamente el número de pasos necesarios para nuevas tareas, desde cientos hasta uno sobre un minuto de datos.
Qué supone para la robótica
GEN-1.5 apunta a una forma de enseñar comportamientos sin preparar un ciclo de entrenamiento completo para cada tarea. Si esta capacidad mejora y mantiene su fiabilidad fuera de las pruebas actuales, podría simplificar la transferencia de instrucciones a robots que operan en entornos variables.
Por ahora, las tasas comunicadas son modestas, las demostraciones en contexto resultan más vulnerables que el fine-tuning y no hay una evaluación independiente incluida en el material. Queda por comprobar cómo responde el modelo ante tareas más largas, errores acumulados y situaciones que se alejen de los gestos atómicos analizados.
Encuentra más IA en nuestra sección de IA o suscríbete a Guslok – Guías 100% en YouTube para más contenido.
Sobre el Autor
