EnglishPortugueseSpanish

SinaPort : Software de tradução de LIBRAS para português utilizando redes neurais

Resumo do projeto

Atualmente a Língua Brasileira de Sinais (LIBRAS), é a principal forma de comunicação de pessoas com algum tipo de deficiência auditiva no Brasil. Apesar disso, uma grande parte da população, inclusive a surda, não consegue falar ou entender LIBRAS. A inspiração para esse projeto, veio com um aluno com surdez do noturno da Liberato, durante meu estágio não obrigatório eu o auxiliei nas aulas, e apesar da existência do HandTalk, um software capaz de traduzir português para LIBRAS, a comunicação foi uma grande dificuldade. Com isso em mente se vê necessário a criação de um software capaz de realizar a tradução de sinais da LIBRAS para o português. O objetivo é criar esse software e treinar 5 sinais diferentes para detecção, analisando os diferentes métodos que podem ser utilizados para fazer a modelagem e treinamento de uma rede neural capaz disso. O programa foi desenvolvido na linguagem de programação Python, utilizando como base a biblioteca OpenCV para processamento de imagem, Tensorflow para a modelagem e treinamento da rede neural e MediaPipe para a detecção de pontos de interesse no corpo da pessoa. O treinamento foi realizado com vídeos dos sinais sendo realizados por apenas uma pessoa, pois em razão da natureza de redes neurais desenvolvidas com o MediaPipe não é necessário treiná-las com diferentes pessoas. No processo de detecção de sinais primeiro o MediaPipe atua sobre os vídeos e devolve a localização dos pontos de interesse, esses valores são processados e repassados para a rede neural, com esses valores a rede neural faz as classificações dos sinais. Durante a pesquisa foram realizados os objetivos propostos, alguns dos sinais escolhidos para tradução foram “usar”, “obrigado” e “oi”, esses sinais foram escolhidos em razão dos seus movimentos junto a mão, “oi” tem um movimento longo que precisa da detecção do tronco, “obrigado” tem um movimento médio que precisa da detecção do rosto e “usar” é um movimento curto que precisa da detecção do ombro. Com esses sinais foi feito um set de treinamento para a aplicação de testes em diferentes modelos de redes neurais, como as redes neurais recorrentes tanto de modelo simples quanto do tipo LSTM. Os testes feitos até agora indicam que redes neurais com camadas do tipo LSTM funcionam melhor do que redes recorrentes simples nessa aplicação, em uma aplicação como essa a possibilidade de utilizar valores passados para poder fazer uma detecção aumenta consideravelmente a precisão. Com uma rede neural do tipo recorrente simples foi atingida uma precisão de cerca de 60% após 100 iterações, já com camadas do tipo LSTM uma precisão de cerca de 90% foi atingida depois do mesmo número de iterações. Esses valores foram obtidos utilizando matrizes de confusão, com uma divisão de 80/20, 80% dos dados para treinamento e 20% para validação. Posteriormente, alguns testes ainda podem ser feitos com diferentes tipos de redes neurais, diferentes tamanhos de sets de treinamento e, além disso, o vocabulário do software pode ser aumentado. Palavras chave: Software, LIBRAS, tradução, redes neurais, LSTM, MediaPipe.

Alunos

Rodrigo Mann Schaidt
- - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - -

Orientadores

Marcio Leandro Souza Momberger

Instituição

Fundação Escola Técnica Liberato Salzano Vieira da Cunha
Novo Hamburgo /
  Novo Hamburgo –  
  RS –
  Brazil

Deixe seu comentário

O que você achou deste projeto? Participe deixando seu comentário a seguir:

Subscribe
Notify of
guest
0 Comentários
Inline Feedbacks
View all comments

Alunos

Rodrigo Mann Schaidt
- - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - -

Orientadores

Marcio Leandro Souza Momberger

Instituição

Fundação Escola Técnica Liberato Salzano Vieira da Cunha
  Novo Hamburgo –  
  RS –
  Brazil

Prêmios e Incentivos Educacionais Oferecidos

Áreas de pesquisa

Conheça os projetos que estão concorrendo em todas as áreas de pesquisa da Mostratec Virtual:

Biologia Celular e Molecular e Microbiologia
Bioquímica e Química
Ciências Ambientais
Ciências Animais e de Plantas
Ciências da Computação
Ciências Planetárias e Terrestres e Matemática e Física
Ciências da Saúde
Educação e Humanidades
Engenharia Ambiental e Sanitária
Engenharia e Materiais
Engenharia Elétrica
Engenharia Eletrônica
Engenharia Mecânica
História e Ciências Sociais

REALIZAÇÃO

PATROCÍNIO

APOIO

MOSTRATEC Virtual

Mostra Internacional de Ciência e Tecnologia
Mostra Brasileira de Ciência e Tecnologia

Desenvolvido por SiriusPrime
0
Clique para deixar seu comentário e participar!x
()
x

Premiação Júri Popular

Para a premiação do Júri Popular, só serão considerados válidos os votos únicos (um por usuário) e que forem realizados entre 0:00 de 22/10 às 23:59 de 24/10.

Teste do Perfil Empreendedor

Preencha os seus dados a seguir para realizar o seu teste: