•Pesquisadores do MIT desenvolveram uma pulseira com ultrassom que rastreia movimentos da mão em tempo real e transforma as imagens em posições dos dedos e da palma por meio de IA.
•A pulseira capta imagens dos músculos, tendões e ligamentos do punho conforme a mão se move e traduz as informações para controlar um robô ou um ambiente virtual.
•Em demonstrações, quem usa a pulseira pode acionar uma mão robótica para tocar piano, atirar em uma cesta de escritório e manipular objetos em tela, como ampliar ou reduzir itens com gestos de pinça.
•O estudo envolveu oito voluntários com diferentes tamanhos de mão e mostrou que o sistema consegue prever com precisão a posição de diversos movimentos, incluindo todas as letras do alfabeto americano em Libras.
•Os pesquisadores planejam ampliar os gestos treinados, miniaturizar o hardware e usar os dados para treinar robôs humanoides mais ágeis, além de aplicações em videogames e design, mantendo a transmissão sem fio para controle remoto.
Um grupo de pesquisadores do MIT desenvolveu uma pulseira de ultrassom que permite controlar uma mão robótica a partir dos movimentos das próprias mãos em tempo real. O aparelho mapeia imagens do pulso enquanto o usuário se move, interpretando as posições dos dedos e da palma via inteligência artificial.
A pulseira ultrassônica foi projetada para capturar músculos, tendões e ligamentos do pulso. Um algoritmo de IA traduz as imagens em posições distintas de cada dedo, permitindo que a mão robótica siga com precisão os gestos do usuário.
Em demonstrações, voluntários usaram a pulseira para controlar uma mão robótica sem fios. Ao apontar ou gesticular, o robô reproduzia o movimento correspondente, como tocar piano ou arremessar uma bola de basquete em uma mesa.
A equipe também mostrou que é possível manipular objetos em ambientes virtuais, como ampliar ou reduzir itens na tela ao aproximar ou afastar dedos. O objetivo é criar um conjunto de dados de gestos para treinar robôs humanos com maior destreza.
O estudo integra uma colaboração entre o MIT e a Universidade da Califórnia, com coautores de várias áreas. A pesquisa foi publicada hoje na revista Nature Electronics e recebeu apoio de instituições como NIH, NSF e DoD, além de entidades de pesquisa de Singapura.
Segundo Xuanhe Zhao, professor de engenharia mecânica do MIT, a tecnologia pode substituir métodos atuais de rastreamento de mãos em realidade virtual e aumentada. A longo prazo, a equipe pretende treinar o software com mais gestos e ampliar a variedade de punhos e dedos.
A pulseira tem o tamanho de um smartwatch e envolve eletrônicos compactos, com adesivos de ultrassom que ficam sobre o pulso. Em testes, registrou imagens nítidas mesmo com movimentos finos dos dedos.
A meta é evoluir para um rastreador de mão vestível que permita interação com robôs humanoides e objetos virtuais com alta destreza. Os pesquisadores planejam ampliar o conjunto de dados com mais voluntários.
A pesquisa destaca ainda que a abordagem ultrassônica pode superar limitações de câmeras e luvas com sensores, oferecendo rastreamento contínuo sem restringir os movimentos naturais.
Entre na conversa da comunidade