- Pesquisadores do MIT usam sinais mmWave e IA generativa para “ver” através de obstruções, aprimorando a detecção de objetos ocultos e a compreensão de ambientes sem depender de câmeras.
- O sistema Wave-Former sugere superfícies prováveis a partir das reflexões e a IA completa o formato, elevando a precisão na reconstrução de objetos.
- A técnica conseguiu reconstruir fielmente cerca de setenta objetos do cotidiano, com melhoria de aproximadamente vinte por cento em relação a baselines anteriores.
- Um sistema expandido, chamado RISE, reconstrói cenas inteiras de ambientes utilizando reflexões de mmWave geradas por movimento humano, com reconstruções cerca do dobro de precisas em testes com mais de cem trajetórias.
- As pesquisas serão apresentadas na Conferência IEEE de Visão Computacional e Reconhecimento de Padrões; o trabalho conta com apoio da National Science Foundation, do MIT Media Lab e da Amazon.
A equipe de MIT avança em visão sem fio usando IA generativa para enxergar objetos ocultos por obstáculos. A técnica aproveita sinais sem fio que refletem em itens escondidos, permitindo reconstruções de forma mais precisa. O objetivo é ajudar robôs a detectar objetos e interpretar cenas sem expor privacidade.
O estudo utiliza modelos de IA para preencher lacunas em reconstruções parciais obtidas a partir das reflexões de sinais mmWave, semelhantes aos usados no Wi‑Fi. Com isso, o sistema consegue projetar formas completas de objetos que estão fora de vista.
Outra linha envolve um sistema expandido que mapeia uma sala inteira, incluindo móveis. O método usa um radar estacionário que envia sinais que refletem não apenas em objetos, mas também em humanos em movimento, gerando informações sobre o ambiente.
A inovação supera a limitação de abordagens anteriores que exigiam sensores móveis em robôs para varreduras. Além disso,, diferentemente de técnicas baseadas em câmeras, a solução preserva a privacidade das pessoas presentes no espaço.
Esses avanços podem, por exemplo, permitir que robôs de armazém verifiquem itens embalados antes do envio, reduzindo desperdícios com devoluções. Em residências, robôs podem entender a localização de pessoas, melhorando a segurança e a interação humano‑robô.
O grupo de Adib já demonstrou, anteriormente, que sinais de mmWave podem reconstruir objetos ocultos com boa precisão, mesmo quando protegidos por materiais comuns. A nova abordagem usa IA para preencher partes ausentes e interpretar reflexões complexas.
Para treinar os modelos, pesquisadores recorreram a dados de visão computacional adaptados para simular propriedades de reflexão de mmWave, incluindo a especularidade e o ruído. Com isso, criaram um conjunto sintético para ensinar a IA a completar formas.
O sistema completo, batizado Wave-Former, sugere superfícies de objetos, gera reconstruções com a IA e refina os contornos até obter a forma final. Em testes, o Wave-Former atingiu precisão próxima de 70 itens diários, com ganho de quase 20% frente bases atuais.
Um segundo conjunto de experimentos deu origem ao sistema de reconstrução de cenários internos, chamado RISE, que usa reflexões de mmWave provocadas por pessoas em movimento. Em mais de 100 trajetórias humanas, o RISE produziu reconstruções cerca de duas vezes mais precisas que as técnicas existentes.
Os pesquisadores pretendem, no futuro, detailar ainda mais as reconstruções e desenvolver modelos de base para sinais sem fio, similar aos grandes modelos de linguagem. O trabalho é apoiado pela NSF, pelo MIT Media Lab e pela Amazon.
Entre na conversa da comunidade