Pesquisadores apresentaram o ToyBlocks, um ambiente de simulação aberto criado para estudar o aprendizado e a avaliação de robôs em tarefas controladas. A plataforma integra a iniciativa FoundationWorlds, que busca entender por que modelos de inteligência artificial acertam ou falham ao manipular objetos.
O sistema foi desenvolvido sobre trabalhos anteriores de aprendizagem aberta em robótica, como o MolmoAct 2, MolmoBot e MolmoSpaces. A proposta é oferecer um ambiente simplificado, mas capaz de gerar dados automatizados sem a necessidade de controle remoto humano contínuo.
Como funciona a plataforma ToyBlocks
O ToyBlocks utiliza um braço robótico simulado e blocos de madeira sobre uma mesa. Embora a cena pareça simples, o robô precisa raciocinar sobre a interação física dos objetos enquanto realiza ações de empurrar, virar e empilhar.
A estrutura do ToyBlocks foi projetada para atender a quatro requisitos principais:
- Física e aparência realistas no ambiente virtual;
- Geração automática de tarefas e demonstrações em grande escala;
- Desafios que combinam raciocínio lógico e destreza física;
- Ampla cobertura de tarefas possíveis dentro do domínio proposto.
Para acelerar a coleta de dados, a plataforma utiliza planejamento de tarefas e movimentos (TAMP) executado em unidades de processamento gráfico (GPUs). O processo roda centenas de planos em paralelo em uma única GPU, atingindo uma velocidade até 24 vezes superior ao tempo real.
Raciocínio de alto nível e controle de movimento
A arquitetura do ToyBlocks divide a execução em dois níveis complementares. Os modelos de raciocínio de alto nível decidem o que fazer, enquanto os modelos de ação de baixo nível controlam os movimentos do braço mecânico.
Os comportamentos curtos, chamados de habilidades, são treinados via aprendizado por reforço no Isaac Lab, um simulador de código aberto da Nvidia. Com isso, o robô aprende ações como girar ou empurrar um bloco sem precisar levantá-lo, usando informações diretas fornecidas pelo simulador.
Nos testes integrados, os pesquisadores utilizaram o modelo de visão e linguagem Molmo 2 no planejamento de alto nível e o sistema ManiFlow no controle de baixo nível. Essa divisão permite identificar exatamente se uma falha ocorreu no planejamento da tarefa ou na execução física do movimento.
Testes de generalização e modelos de fronteira
O ToyBlocks foi utilizado para avaliar a capacidade dos robôs em lidar com cenários inéditos, como posições fora da área de treinamento ou torres de blocos mais altas. Os resultados iniciais mostraram que modelos conhecidos, como ManiFlow, MolmoAct 2 e π0.5, ainda enfrentam dificuldades para generalizar espacialmente sem ajustes finos, como a técnica LoRA (adaptação de baixo rank).
Em experimentos com modelos de fronteira usando o protocolo de contexto de modelo (MCP), os pesquisadores conectaram sistemas como o Claude Opus 5.5 e o Claude Fable 5.1 ao ambiente simulado. O robô recebeu comandos em linguagem natural e utilizou imagens de câmeras para procurar letras nos blocos e formar palavras, como a sigla “Ai2”.
- Em planejamento clássico com descrições em texto e imagens em malha fechada, o sistema resolveu 30 de 30 tarefas propostas.
- No desafio de buscar e soletrar com até oito blocos na cena, o robô resolveu ou declarou a tarefa impossível corretamente em 63% dos casos.
- Erros de percepção ocorreram por confusão entre letras parecidas (13%) ou orientação incorreta da letra na pilha (15%).
O que esperar do futuro do projeto
O ToyBlocks consolida-se como o primeiro ambiente da iniciativa FoundationWorlds para análise sistemática de IA em robótica. Os pesquisadores pretendem expandir a metodologia para ambientes cada vez mais complexos, permitindo que a comunidade acadêmica crie seus próprios testes e métricas de desempenho.
Fonte original: huggingface.co. Consulte a publicação original para contexto e atualizações.
