Tecnologia

IA lê lábios sem áudio: novo recorde de precisão

Pesquisadores do KAIST desenvolveram uma IA que transcreve fala a partir de movimentos labiais em vídeos sem áudio, alcançando novos padrões de precisão.

4 min de leitura

Ilustração de rosto humano com fluxo de dados digitais representando a leitura labial por inteligência artificial
Foto: Canaltech

Em resumo

O KAIST desenvolveu o DLLM-VSR, uma IA que identifica palavras por leitura labial em vídeos sem áudio. A tecnologia usa modelos de difusão para superar limitações de som, visando melhorar a acessibilidade para pessoas surdas e uso em ambientes ruidosos, embora ainda em fase de desenvolvimento.

Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) criaram uma inteligência artificial capaz de transcrever conversas analisando apenas os movimentos dos lábios em vídeos que não possuem trilha de áudio. O sistema, chamado de DLLM-VSR, estabelece um novo marco de eficiência nessa área, superando as limitações tradicionais da reconhecimento de fala por imagem.

Segundo o portal Canaltech, essa tecnologia representa um avanço significativo para o setor de acessibilidade e para aplicações em ambientes com alto nível de ruído. Diferente das soluções anteriores, o DLLM-VSR não depende de uma sequência linear de processamento, o que permite uma análise mais robusta de palavras que possuem formas labiais semelhantes.

Como funciona a leitura labial por IA

O principal obstáculo na leitura labial automatizada é a ambiguidade visual. Consoantes como "p", "b" e "m" produzem movimentos faciais quase idênticos, o que confunde a maioria dos algoritmos convencionais. Para resolver isso, o novo sistema utiliza um modelo de linguagem baseado em difusão (DLLM).

Enquanto as IAs tradicionais processam a fala da esquerda para a direita, permitindo que um erro no início afete o restante da frase, o DLLM-VSR opera de forma diferente. O algoritmo identifica primeiro as palavras em que tem maior confiança. Esses termos funcionam como âncoras, permitindo que o sistema preencha as lacunas utilizando o contexto das palavras anteriores e posteriores.

Além disso, a IA estima diferentes comprimentos possíveis para a frase com base na duração do vídeo. Ela gera múltiplas transcrições para cada opção de comprimento e seleciona a versão mais plausível estatisticamente.

Desempenho e métricas de precisão

Nos testes realizados, o sistema registrou uma taxa de erro de palavras (WER) de 19,4% no benchmark LRS3. O treinamento foi realizado com base em 433 horas de vídeos rotulados. De acordo com o veículo de origem, esse resultado representa o melhor desempenho registrado entre os métodos que utilizaram o mesmo conjunto de dados para aprendizado.

É importante destacar que a métrica WER contabiliza palavras reconhecidas incorretamente, omitidas ou adicionadas. Ela não indica a porcentagem de conversas completas que foram compreendidas de forma perfeita, mas sim a precisão no nível da palavra individual.

Aplicações práticas e acessibilidade

A principal aplicação prevista para o DLLM-VSR é a melhoria da acessibilidade. A tecnologia pode permitir que dispositivos convertam conversas em texto a partir de imagens, beneficiando diretamente pessoas surdas ou com deficiência auditiva, especialmente em situações onde não há gravação de áudio disponível.

Além do contexto de saúde e inclusão, a ferramenta tem potencial uso em ambientes industriais e cênicos. Em locais com muito ruído, como restaurantes lotados, fábricas ou eventos com música alta, a comunicação por voz fica prejudicada. A leitura labial por IA pode atuar como um canal alternativo de comunicação nesses cenários.

Desafios para a implementação em tempo real

Apesar dos avanços, a tecnologia ainda está em fase de desenvolvimento e não foi lançada no mercado. Segundo o Canaltech, o sistema precisa de ajustes significativos antes de chegar ao público geral.

Os principais desafios técnicos incluem:

  • Reduzir o consumo de processamento para permitir a execução em dispositivos menores;
  • Garantir o funcionamento em tempo real, sem a necessidade de conexão com a internet;
  • Adaptar o sistema para robôs e dispositivos vestíveis;
  • Manter a precisão em diferentes condições de iluminação e ângulos de câmera.

A precisão do sistema também varia conforme os dados utilizados nos testes, o que indica a necessidade de mais robustez para cenários do mundo real.

Questões éticas e privacidade

A capacidade de interpretar conversas a partir de gravações de vídeo sem áudio levanta discussões importantes sobre privacidade. A possibilidade de transcrever o que é dito em ambientes privados ou semi-públicos, sem que haja gravação de som, exige o desenvolvimento de normas éticas e legais claras para o uso dessa tecnologia.

Perguntas frequentes

O que é o DLLM-VSR?

É uma inteligência artificial desenvolvida pelo KAIST que utiliza modelos de difusão para identificar palavras a partir dos movimentos labiais em vídeos sem áudio, batendo recordes de precisão em leituras labiais.

A tecnologia já está disponível para o público?

Não. A tecnologia ainda está em fase de desenvolvimento e não chegou ao mercado, pois precisa de otimizações para funcionar em tempo real e em dispositivos portáteis sem internet.

Como a IA resolve a confusão entre letras parecidas?

Ao contrário das IAs sequenciais, o DLLM-VSR identifica primeiro as palavras de maior confiança e usa o contexto da frase inteira para preencher as lacunas, reduzindo erros em consoantes com formas labiais semelhantes.