MIT apresentou um novo sistema h\u00edbrido para planejamento de tarefas visuais complexas. A abordagem, baseada em IA generativa, foca em navega\u00e7\u00e3o de rob\u00f4s e em aumentar a efici\u00eancia de equipes de montagem multirobot. Em testes, o m\u00e9todo mostrou desempenho aproximadamente duas vezes superior a t\u00e9cnicas existentes.<\/p>\n
O modelo utiliza uma vis\u00e3o com linguagem para entender a cena de uma imagem e simular a\u00e7\u00f5es at\u00e9 atingir o objetivo. Em seguida, um segundo modelo transforma essas simula\u00e7\u00f5es em arquivos de linguagem de defini\u00e7\u00e3o de dom\u00ednio (PDDL) para planejamento, refinando a solu\u00e7\u00e3o.<\/p>\n
Os arquivos gerados alimentam um software cl\u00e1ssico de planejamento, que computa o plano passo a passo. O sistema alcan\u00e7ou taxa de sucesso m\u00e9dia de cerca de 70%, superaindo os baselines, que chegaram a aproximadamente 30%.<\/p>\n
O m\u00e9todo, denominado VLM-guided formal planning (VLMFP), combina duas etapas com modelos de vis\u00e3o e linguagem para transformar problemas visuais em entradas de planejamento formais. A dupla trabalha para converter uma imagem \u00fanica em simula\u00e7\u00e3o e em um plano confi\u00e1vel de longo alcance.<\/p>\n
Os pesquisadores utilizaram SimVLM para descrever a cena e simular a\u00e7\u00f5es. Um modelo maior, chamado GenVLM, gera arquivos iniciais em PDDL a partir da descri\u00e7\u00e3o de SimVLM. Os arquivos s\u00e3o encaminhados a um resolvedor PDDL para obter o plano.<\/p>\n
A qualidade do planejamento \u00e9 verificada com a compara\u00e7\u00e3o entre os resultados do resolvedor e a simula\u00e7\u00e3o, com refinamento iterativo das especifica\u00e7\u00f5es em PDDL. O objetivo \u00e9 reproduzir exatamente uma simula\u00e7\u00e3o de a\u00e7\u00f5es que leve ao objetivo.<\/p>\n
O sistema demonstrou capacidade de generalizar para problemas novos, \u00fateis em ambientes reais com mudan\u00e7as r\u00e1pidas. Em testes, o VLMFP atingiu cerca de 60% de sucesso em seis tarefas plan\u00e1rias 2D e mais de 80% em duas tarefas 3D, incluindo coopera\u00e7\u00e3o entre rob\u00f4s e montagem.<\/p>\n
Al\u00e9m disso, o m\u00e9todo gerou planos v\u00e1lidos para mais de 50% dos cen\u00e1rios n\u00e3o vistos, superando consideravelmente as t\u00e9cnicas de refer\u00eancia. A equipe destaca que a abordagem combina compreens\u00e3o de imagens com capacidades de planejamento formais.<\/p>\n
O estudo \u00e9 liderado por Yilun Hao, pesquisadora graduanda da AeroAstro no MIT, e inclui Yongchao Chen, Chuchu Fan, e Yang Zhang, com participa\u00e7\u00e3o no MIT-IBM Watson AI Lab. O trabalho ser\u00e1 apresentado na International Conference on Learning Representations.<\/p>\n
Os autores pretendem ampliar o VLMFP para cen\u00e1rios ainda mais complexos e investigar m\u00e9todos para reduzir ilus\u00f5es geradas pelas VLMs. A pesquisa enfatiza a necessidade de ferramentas adequadas para resolver problemas visuais de planejamento de longo alcance. O desenvolvimento recebeu apoio parcial do MIT-IBM Watson AI Lab.<\/p>\n","protected":false},"excerpt":{"rendered":"