BRAZILIAN SIGN LANGUAGE RECOGNITION AND TRANSLATION APPLICATION

___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 122 (Ciências Exatas) APLICATIVO DE RECONHECIMENTO E TRADUÇÃO DA LÍNGUA BRASILEIRA DE SINAIS BRAZILIAN SIGN LANGUAGE RECOGNITION AND TRANSLATION APPLICATION Adriano Fernandes Scarabelli, Hugo Galluzzi Alvarenga, Isadora de Jesus Bastos, Roberto Gomes Lima Neto, Kelly Cristina Abou Arabi de Mendonça e Luis Fernando Pompeo Ferrara Universidade Santa Cecília, Faculdade de Engenharia, Curso de Engenharia da Computação. E-mail para contato: [email protected]; [email protected]; [email protected]; [email protected]; RESUMO - Este trabalho apresenta o desenvolvimento do aplicativo móvel LibrasCam, voltado ao reconhecimento e tradução da Língua Brasileira de Sinais (Libras) em tempo real. Com uso de algoritmos de visão computacional e bibliotecas como OpenCV, MediaPipe e TensorFlow, o sistema interpreta gestos capturados pela câmera e os converte em texto. O projeto foi estruturado em etapas de levantamento de requisitos, desenvolvimento de modelos de IA, implementação em Flutter e integração com servidor remoto. Os resultados indicaram alta acurácia e tempo de resposta adequado, demonstrando o potencial da solução para promover acessibilidade e inclusão social. Palavras-chave: Acessibilidade; Tecnologia; Inclusão; Aplicativo; Tradução. ABSTRACT - This paper presents the development of the LibrasCam mobile application, which enables real-time recognition and translation of Brazilian Sign Language (Libras). Using computer vision algorithms and libraries such as OpenCV, MediaPipe, and TensorFlow, the system interprets gestures captured by the camera and converts them into text. The project was structured in stages including requirements gathering, AI model development, implementation in Flutter, and remote server integration. The results indicated high accuracy and adequate response time, demonstrating the solution's potential to promote accessibility and social inclusion. Keywords: Accessibility; Technology; Inclusion; Application; Translation. ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 123 (Ciências Exatas) 1 INTRODUÇÃO A comunicação é um aspecto crucial da vida humana, sendo um meio fundamental para o desenvolvimento social e pessoal, expressão de ideias, sentimentos e necessidades. A dificuldade em se comunicar efetivamente pode resultar em uma série de barreiras sociais, educacionais e profissionais, limitando o acesso a oportunidades e recursos. No entanto, para indivíduos com deficiência auditiva, essa habilidade pode ser significativamente desafiadora (FROTA, 2017). A deficiência auditiva pode ser causada por uma variedade de fatores, incluindo genéticos, congênitos, doenças infecciosas, lesões acústicas e o envelhecimento. Existem também diferentes tipos de deficiência auditiva, que podem ser classificados com base na sua natureza e localização. Entre os tipos mais comuns estão a deficiência auditiva condutiva, sensorioneural e mista, cada uma afetando diferentes partes do sistema auditivo (FRANCELIN; MOTTI; MORITA, 2010). No Brasil, de acordo com o IBGE (Instituto Brasileiro de Geografia e Estatística), estimase que aproximadamente 5% da população, ou cerca de 10 milhões de pessoas, sejam afetadas por algum grau de deficiência auditiva, informa pesquisa realizada e publicada por (JORNAL DA USP, 2025). Para promover a inclusão de pessoas com deficiência auditiva, são necessárias estratégias e medidas de acessibilidade adequadas. Isso inclui o uso de tecnologias assistivas, como aparelhos auditivos, implantes cocleares e sistemas de amplificação sonora, bem como a implementação de serviços de interpretação em língua de sinais e legendagem em eventos públicos e mídias audiovisuais (FREITAS, 2020). A Língua Brasileira de Sinais (Libras) é uma forma de comunicação utilizada pela comunidade surda no Brasil. É uma língua visual-espacial, com sua própria gramática e estrutura linguística, fundamental para a inclusão e o acesso à informação para pessoas surdas. Ao contrário do que muitos pensam, Libras não consiste apenas em gestos soltos ou uma tradução visual do Português. É uma língua completa, com vocabulário vasto, regras gramaticais e expressões idiomáticas próprias (RAMOS, 2004). A utilização da Libras promove a inclusão social e educacional das pessoas surdas, permitindo-lhes interagir plenamente com o mundo ao seu redor. Através dela, é possível ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 124 (Ciências Exatas) participar de conversas, compreender palestras, acessar informações em diversos contextos e expressar-se de forma autêntica e completa. Além disso, a disseminação e o reconhecimento da Libras são fundamentais para combater o preconceito e a discriminação enfrentados pela comunidade surda. Ao promover a valorização da língua de sinais, reconhecemos a diversidade linguística e cultural presente em nossa sociedade e fortalecemos os direitos das pessoas surdas. Este trabalho apresenta o desenvolvimento de um aplicativo móvel denominado LibrasCam, capaz de reconhecer e traduzir sinais em Libras para texto em tempo real. O diferencial da proposta reside na integração de algoritmos de inteligência artificial com uma interface móvel intuitiva, buscando proporcionar acessibilidade em ambientes sociais, educacionais e profissionais. Assim, o objetivo geral do estudo é desenvolver uma solução tecnológica inclusiva, enquanto os objetivos específicos incluem: projetar uma interface acessível, treinar modelos robustos de reconhecimento gestual, validar desempenho em cenários reais e analisar o impacto social da solução. 2 MATERIAIS E MÉTODOS A pesquisa deste projeto foi organizada em etapas distintas, cada uma com objetivos definidos e fundamentação técnica específica, visando assegurar a efetividade no desenvolvimento do aplicativo de tradução da Língua Brasileira de Sinais (Libras) para texto em tempo real. As fases foram estruturadas de forma a permitir uma abordagem sistemática, contemplando desde a definição dos requisitos até a implementação e validação da solução proposta. A seguir, apresentam-se as etapas metodológicas adotadas ao longo do desenvolvimento do projeto. A etapa inicial do projeto consistiu na identificação e compreensão das principais demandas comunicacionais enfrentadas por pessoas surdas em situações cotidianas. Essa fase foi fundamental para embasar o desenvolvimento da solução tecnológica com foco na acessibilidade e na inclusão social. Com esse propósito, foram conduzidas atividades específicas voltadas à coleta de informações e à análise de contextos de uso. A segunda etapa concentrou-se no desenvolvimento e treinamento de modelos baseados em Inteligência Artificial (IA) e algoritmos de visão computacional para o reconhecimento de ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 125 (Ciências Exatas) gestos em Língua Brasileira de Sinais (Libras). As atividades realizadas nessa etapa buscaram garantir a robustez, acurácia e eficiência do sistema de reconhecimento gestual. A terceira etapa do projeto refere-se ao desenvolvimento do aplicativo móvel, que constitui a interface entre o sistema de reconhecimento de gestos e o usuário final. Essa fase tem como foco principal a criação de uma interface gráfica funcional, intuitiva e acessível, de modo a atender às necessidades específicas do público-alvo, especialmente pessoas com deficiência auditiva. O design do aplicativo será orientado por princípios de usabilidade e acessibilidade digital, visando promover uma experiência de uso eficiente, inclusiva e adaptada a diferentes perfis de usuários. As principais atividades previstas nesta etapa são descritas a seguir: • Escolha do Framework: Foram considerados os frameworks Flutter, devido à sua compatibilidade com Python e à popularidade na criação de aplicações móveis. Após uma análise comparativa, será escolhido o framework que melhor atendia às necessidades do projeto. • Desenvolvimento e Integração: A interface do usuário será desenvolvida e integrada com os modelos de IA previamente treinados. Serão implementadas funcionalidades como a captura de vídeo em tempo real, o processamento de gestos e a exibição do texto traduzido. • Expectativa dos gestos implementados: Foram definidos para serem implementados no projeto os seguintes sinais em Libras: − Numerais de 0 a 9. − Alfabeto inteiro (A - Z). − Pontuações: ponto final (.), vírgula (,), ponto de interrogação (?), ponto de exclamação (!). − 20 Saudações (Bom dia, Boa noite, Desculpa etc.). Utilizando o framework Flutter escolhido para desenvolvimento do aplicativo móvel LibrasCam, onde foram implementadas as telas descritas anteriormente e configuradas todas as funções necessárias para o funcionamento do aplicativo, como a utilização da câmera do dispositivo móvel. ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 126 (Ciências Exatas) Para a implementação da lógica de reconhecimento de sinais Libras, foi escolhida a linguagem de programação Python e nela foi desenvolvida a lógica da leitura de sinais de Libras. Juntamente ao Python, foram inseridas bibliotecas para processamento inicial do aplicativo, entre elas estão a biblioteca OpenCV, ela foi utilizada no projeto para realizar a leitura das imagens enviadas pela câmera do aplicativo e processá-las. A biblioteca MediaPipe também foi utilizada neste projeto, a sua função é realizar a leitura das coordenadas da mão, permitindo a análise precisa dos gestos feitos e sua correspondência com os sinais da Língua Brasileira de Sinais. Foi desenvolvido o código escrito em Python para a detecção dos sinais de Libras, fazendo com que a REST API fique funcionando externamente, realizando assim a comunicação entre a lógica do código Python e o aplicativo. Inicialmente ela foi testada realizando a execução no ambiente local de desenvolvimento, rodando-a no Prompt de Comando do computador próximo ao dispositivo que está rodando o aplicativo LibrasCam. Após esses testes iniciais, foi necessário colocar essa API, que compõe toda a lógica de tradução dos sinais de Libras, em uma plataforma que hospede esses tipos de aplicações para que seja possível utilizar o aplicativo de tradução de Libras em qualquer lugar do Brasil. Ao abrir o aplicativo LibrasCam, o usuário é recebido com a tela inicial, que apresenta de forma simples e objetiva a identidade visual do projeto. Nessa tela, é exibido o logotipo do aplicativo, reforçando sua marca, e um botão de início, que ao ser acionado direciona o usuário para a próxima etapa de utilização. Essa tela tem como principal função introduzir o usuário à proposta do aplicativo, além de oferecer uma navegação intuitiva desde o primeiro contato. Conforme ilustrado na figura 1 apresenta a tela inicial e o posicionamento dos elementos que compõem. Seu design foi pensado para ser acessível e direto, garantindo uma boa experiência ao usuário desde o início da interação. ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 127 (Ciências Exatas) Figura 1: Captura da primeira tela do aplicativo LibrasCam (O Autor). A figura 2 mostra a segunda tela do aplicativo que apresenta uma imagem ilustrativa relacionada à Libras, acompanhada de um texto explicativo sobre o funcionamento do LibrasCam. Essa tela tem como objetivo informar o usuário sobre a proposta do aplicativo e prepará-lo para o uso da funcionalidade principal. Ao final, um botão permite abrir a câmera do dispositivo, iniciando o processo de reconhecimento dos sinais. Figura 2: Captura da segunda tela do aplicativo LibrasCam (O Autor). ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 128 (Ciências Exatas) Ao ativar a câmera do dispositivo uma nova tela surgirá como representada na figura 3, permitindo a captura de sinais em tempo real. Neste primeiro momento, foi posicionado no canto superior direito da tela do aplicativo, um botão, que somente quando for pressionado, captura a imagem e a envia para a leitura do código Python. A imagem processada permite a tradução do sinal em Libras, reconhecendo o sinal recebido como “Te Amo”: Figura 3: Leitura do sinal “Te Amo” no aplicativo LibrasCam (O Autor). Foram pesquisados e testados diversos métodos para que se tornasse possível realizar a lógica de detecção de mão do MediaPipe para ser usada nativamente no Flutter, sem a necessidade de ser utilizado um servidor para isso, porém nenhum desses métodos tiveram sucesso no projeto em questão. Foi verificado que a documentação relacionada a conexão do MediaPipe com o framework Flutter é mínima, e muito difícil de ser encontrada ou entendida e aplicada na prática, nem sequer chats de IA como o Gemini ou o ChatGPT foram capazes de ajudar na conexão e funcionamento dessa prática, logo foi preciso que uma plataforma de hospedagem de aplicações web fosse escolhida para o funcionamento do projeto e seus diversos testes.Dessa forma, foi escolhida a plataforma VPS Hostinger para hospedar o código em Python e suas respectivas bibliotecas. Com isso, o aplicativo passou a funcionar em qualquer lugar e não apenas no ambiente local de desenvolvimento. O aplicativo foi testado múltiplas ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 129 (Ciências Exatas) vezes utilizando esta plataforma e foi a que apresentou um melhor tempo de resposta para que o aplicativo do projeto está disposto a fazer. 3 RESULTADOS E DISCUSSÃO Criação do aplicativo LibrasCam e leitura de sinais que não utilizam movimento e que apenas utilizam de um posicionamento de mão para serem entendidos. Com a inclusão da biblioteca TensorFlow juntamente a biblioteca MediaPipe, foram realizadas as traduções de sinais que utilizam da movimentação das mãos, e precisam de até mais de um sinal para o seu entendimento, assim formando frases na caixa de texto, possibilitando a comunicação de pessoas com deficiência auditiva e pessoas que não sabem como se comunicar em Libras. Com a utilização da plataforma VPS Hostinger, foi possível alcançar um bom tempo de resposta, buscando sempre manter o equilíbrio entre uma resposta nem tão demorada e nem tão rápida, pois poderia causar um desentendimento na hora da realização dos sinais e na comunicação da pessoa que está utilizando o aplicativo com a pessoa que está se comunicando em Libras. Na tabela 1 é possível visualizar os resultados obtidos com o treinamento de alguns dos modelos de IA do projeto, utilizando a biblioteca TensorFlow do Python, primeiro foi realizada a captura dos pontos das mãos das milhares de imagens de mãos selecionadas utilizando a biblioteca MediaPipe, e com esses dados e coordenadas, os modelos puderam ser treinados, obtendo ótimos números de acurácia. Tabela 1. Tabela de dados do treinamento de modelos IA utilizando a biblioteca TensorFlow Modelos Épocas Acurácia Perda Numerais 50 de 100 0.9988 0.0058 Numerais e Alfabeto 53 de 100 0.9983 0.0138 Último Modelo Treinado 55 de 100 0.9974 0.0165 ___________________________________________________________________________ Anais do Congresso Brasileiro de Iniciação Científica Vol2 nº2 (2025) 130 (Ciências Exatas) 4 CONCLUSÃO O projeto em questão foi capaz de realizar o desenvolvimento de um aplicativo de dispositivo móvel com a capacidade de detectar e traduzir uma grande quantidade de sinais da Língua Brasileira de Sinais, utilizando aprendizado de máquina, inteligência artificial e visão computacional, alcançando assim os objetivos propostos, possibilitando que pessoas possam baixar o aplicativo em seu celular e utilizar no seu dia a dia para realizarem a comunicação com pessoas que se comunicam em Libras e tem dificuldades de se comunicar com pessoas que não sabem se comunicar em Libras. O grupo agradece imensamente a professora e orientadora Prof.ª Me. Kelly Cristina Abou Arabi de Mendonça e ao professor, coorientador e coordenador do Curso de Engenharia da Computação Prof.º Me. Luiz Fernando Pompeo Ferrara, por todo o suporte, orientação, esclarecimento de dúvidas e contribuições para o projeto que foi desenvolvido. Para projetos futuros, poderia ser aprimorado cada vez mais o projeto apresentado até aqui, treinando muito mais classes para que fossem incluídas nos modelos de IA treinados, proporcionando um ramal de sinais muito mais robusto e diversificado do que o que foi desenvolvido no projeto descrito neste documento, poderia ser adquirido um servidor ainda mais rápido, melhorando a detecção dos sinais e tempo de resposta da tradução, ou se possível no futuro, adicionar nativamente no aplicativo a lógica de detecção de mãos do MediaPipe, isso faria com que não fosse necessário o uso de um servidor externo e nem mesmo a utilização de internet para o funcionamento do aplicativo. 5 REFERÊNCIAS FRANCELIN, Madalena A. S.; MOTTI, Telma F. G.; MORITA, Ione. As implicações sociais da deficiência auditiva adquirida em adultos. Saúde e Sociedade, v. 19, p. 180-192, 2010. FREITAS, A. M. Tecnologias assistivas e inclusão social de pessoas com deficiência auditiva. Revista Brasileira de Educação Especial, v. 26, n. 1, p. 173-186, 2020. FROTA, S. M. A comunicação e a língua de sinais como instrumento de inclusão para deficientes auditivos. Revista Eletrônica Saberes da Educação, v. 8, n. 2, p. 148-162, 2017. JORNAL DA USP. Mais de 10 milhões de brasileiros apresentam algum grau de surdez, 2025. Disponível em: https://jornal.usp.br/atualidades/mais-de-10-milhoes-de-brasileirosapresentam-algum-grau-de-surdez. Acesso em: 14 set. 2025.