A MIT apresentou uma nova metodologia para quantificar incerteza em grandes modelos de linguagem (LLMs), visando identificar respostas confiantes por\u00e9m incorretas. O objetivo \u00e9 reduzir alucina\u00e7\u00f5es e deixar o usu\u00e1rio mais informado sobre quando confiar no modelo. A t\u00e9cnica envolve comparar a resposta de um modelo-alvo com as de um grupo de LLMs semelhantes.<\/p>\n
A equipe mostrou que medir o desacordo entre modelos ajuda a capturar a chamada incerteza epist\u00eamica, diferente da simples confian\u00e7a interna de um \u00fanico sistema. Com esse enfoque, adicionaram uma m\u00e9trica de incerteza total que combina resultados de diferentes modelos para avaliar a confiabilidade das respostas.<\/p>\n
A pesquisa foi conduzida por Kate Hamidieh e outros especialistas do MIT, em colabora\u00e7\u00e3o com o MIT-IBM Watson AI Lab e a Worcester Polytechnic Institute. O estudo avaliou a abordagem em 10 tarefas realistas, como question answering e racioc\u00ednio matem\u00e1tico.<\/p>\n
A t\u00e9cnica prop\u00f5e medir a diverg\u00eancia entre o modelo-alvo e um ensemble pequeno de modelos de tamanho e arquitetura semelhantes. A sem\u00e2ntica das respostas \u00e9 analisada para estimar melhor a incerteza epist\u00eamica, conforme os pesquisadores. Modelos de diferentes empresas comp\u00f5em o conjunto para ampliar a diversidade de respostas.<\/p>\n
Os autores ressaltam que a soma entre a incerteza epist\u00eamica e a incerteza aleat\u00f3ria resulta na incerteza total (TU), que melhor reflete a confiabilidade de uma previs\u00e3o. Em testes, TU superou m\u00e9todos convencionais em detectar previs\u00f5es n\u00e3o confi\u00e1veis.<\/p>\n
A TU identificou com maior consist\u00eancia sa\u00eddas potencialmente incorretas, associadas \u00e0 alucina\u00e7\u00e3o de LLMs, especialmente em tarefas com respostas \u00fanicas. A abordagem pode tamb\u00e9m fortalecer respostas corretas durante o treinamento, elevando o desempenho geral. Os experimentos mostraram redu\u00e7\u00e3o de consultas necess\u00e1rias para estimar a incerteza.<\/p>\n
Autoras destacam que a incerteza epist\u00eamica tem maior impacto em tarefas com resposta singular, como perguntas factuais, e pode ter desempenho menor em tarefas mais abertas. Futuras pesquisas visam aprimorar a t\u00e9cnica para perguntas abertas e explorar outras formas de incerteza aleat\u00f3ria.<\/p>\n
O trabalho contou com financiamento parcial do MIT-IBM Watson AI Lab. Al\u00e9m de Hamidieh, integram o estudo Veronika Thost, Walter Gerych, Mikhail Yurochkin e a pesquisadora s\u00eanior Marzyeh Ghassemi. A equipe descreve a metodologia em publica\u00e7\u00e3o acad\u00eamica associada.<\/p>\n","protected":false},"excerpt":{"rendered":"