IA lê lábios sem áudio: novo recorde de precisão
Pesquisadores do KAIST desenvolveram uma IA que transcreve fala a partir de movimentos labiais em vídeos sem áudio, alcançando novos padrões de precisão.

Em resumo
O KAIST desenvolveu o DLLM-VSR, uma IA que identifica palavras por leitura labial em vídeos sem áudio. A tecnologia usa modelos de difusão para superar limitações de som, visando melhorar a acessibilidade para pessoas surdas e uso em ambientes ruidosos, embora ainda em fase de desenvolvimento.
Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) criaram uma inteligência artificial capaz de transcrever conversas analisando apenas os movimentos dos lábios em vídeos que não possuem trilha de áudio. O sistema, chamado de DLLM-VSR, estabelece um novo marco de eficiência nessa área, superando as limitações tradicionais da reconhecimento de fala por imagem.
Segundo o portal Canaltech, essa tecnologia representa um avanço significativo para o setor de acessibilidade e para aplicações em ambientes com alto nível de ruído. Diferente das soluções anteriores, o DLLM-VSR não depende de uma sequência linear de processamento, o que permite uma análise mais robusta de palavras que possuem formas labiais semelhantes.
Como funciona a leitura labial por IA
O principal obstáculo na leitura labial automatizada é a ambiguidade visual. Consoantes como "p", "b" e "m" produzem movimentos faciais quase idênticos, o que confunde a maioria dos algoritmos convencionais. Para resolver isso, o novo sistema utiliza um modelo de linguagem baseado em difusão (DLLM).
Enquanto as IAs tradicionais processam a fala da esquerda para a direita, permitindo que um erro no início afete o restante da frase, o DLLM-VSR opera de forma diferente. O algoritmo identifica primeiro as palavras em que tem maior confiança. Esses termos funcionam como âncoras, permitindo que o sistema preencha as lacunas utilizando o contexto das palavras anteriores e posteriores.
Além disso, a IA estima diferentes comprimentos possíveis para a frase com base na duração do vídeo. Ela gera múltiplas transcrições para cada opção de comprimento e seleciona a versão mais plausível estatisticamente.
Desempenho e métricas de precisão
Nos testes realizados, o sistema registrou uma taxa de erro de palavras (WER) de 19,4% no benchmark LRS3. O treinamento foi realizado com base em 433 horas de vídeos rotulados. De acordo com o veículo de origem, esse resultado representa o melhor desempenho registrado entre os métodos que utilizaram o mesmo conjunto de dados para aprendizado.
É importante destacar que a métrica WER contabiliza palavras reconhecidas incorretamente, omitidas ou adicionadas. Ela não indica a porcentagem de conversas completas que foram compreendidas de forma perfeita, mas sim a precisão no nível da palavra individual.
Aplicações práticas e acessibilidade
A principal aplicação prevista para o DLLM-VSR é a melhoria da acessibilidade. A tecnologia pode permitir que dispositivos convertam conversas em texto a partir de imagens, beneficiando diretamente pessoas surdas ou com deficiência auditiva, especialmente em situações onde não há gravação de áudio disponível.
Além do contexto de saúde e inclusão, a ferramenta tem potencial uso em ambientes industriais e cênicos. Em locais com muito ruído, como restaurantes lotados, fábricas ou eventos com música alta, a comunicação por voz fica prejudicada. A leitura labial por IA pode atuar como um canal alternativo de comunicação nesses cenários.
Desafios para a implementação em tempo real
Apesar dos avanços, a tecnologia ainda está em fase de desenvolvimento e não foi lançada no mercado. Segundo o Canaltech, o sistema precisa de ajustes significativos antes de chegar ao público geral.
Os principais desafios técnicos incluem:
- Reduzir o consumo de processamento para permitir a execução em dispositivos menores;
- Garantir o funcionamento em tempo real, sem a necessidade de conexão com a internet;
- Adaptar o sistema para robôs e dispositivos vestíveis;
- Manter a precisão em diferentes condições de iluminação e ângulos de câmera.
A precisão do sistema também varia conforme os dados utilizados nos testes, o que indica a necessidade de mais robustez para cenários do mundo real.
Questões éticas e privacidade
A capacidade de interpretar conversas a partir de gravações de vídeo sem áudio levanta discussões importantes sobre privacidade. A possibilidade de transcrever o que é dito em ambientes privados ou semi-públicos, sem que haja gravação de som, exige o desenvolvimento de normas éticas e legais claras para o uso dessa tecnologia.
Perguntas frequentes
O que é o DLLM-VSR?
É uma inteligência artificial desenvolvida pelo KAIST que utiliza modelos de difusão para identificar palavras a partir dos movimentos labiais em vídeos sem áudio, batendo recordes de precisão em leituras labiais.
A tecnologia já está disponível para o público?
Não. A tecnologia ainda está em fase de desenvolvimento e não chegou ao mercado, pois precisa de otimizações para funcionar em tempo real e em dispositivos portáteis sem internet.
Como a IA resolve a confusão entre letras parecidas?
Ao contrário das IAs sequenciais, o DLLM-VSR identifica primeiro as palavras de maior confiança e usa o contexto da frase inteira para preencher as lacunas, reduzindo erros em consoantes com formas labiais semelhantes.



