Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/38685| Título: | Sistema de interface homem-máquina para reconhecimento de padrões de gestos em Libras |
| Título(s) alternativo(s): | Human-machine interface system for recognition of gesture patterns in Brazilian Sign Language (Libras) |
| Autor(es): | Faxina, Luigi de la Cruz |
| Orientador(es): | Mendes Junior, José Jair Alves |
| Palavras-chave: | Eletromiografia Aprendizado profundo (Aprendizado do computador) Pulseiras Luvas Sistemas de reconhecimento de padrões Língua brasileira de sinais Electromyography Deep learning (Machine learning) Bracelets Gloves Pattern recognition systems Brazilian sign language |
| Data do documento: | 28-Jun-2024 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Curitiba |
| Citação: | FAXINA, Luigi de la Cruz. Sistema de interface homem-máquina para reconhecimento de padrões de gestos em Libras. 2024. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Eletrônica) - Universidade Tecnológica Federal do Paraná, Curitiba, 2024. |
| Resumo: | Este trabalho propõe o desenvolvimento de um sistema inovador para a captura e classificação de gestos em Língua Brasileira de Sinais (Libras) utilizando tecnologias de sensoriamento vestível e Deep Learning (Aprendizado profundo). A justificativa para essa pesquisa está na necessidade de oferecer alternativas eficazes para a comunicação em Libras, especialmente entre indivíduos com e sem deficiência auditiva. Os objetivos abrangem desde a implementação de luvas instrumentadas com uma variedade de sensores, incluindo sensores flexíveis, inerciais (acelerômetros e giroscópios) e uma armband Myo para aquisição de Eletromiografia de superfície (sEMG), além do desenvolvimento do sistema para captura de dados durante a execução dos gestos. Além disso, propõe-se a aplicação de modelos de Deep Learning para a classificação dos gestos. Os resultados obtidos revelam uma acurácia promissora na classificação dos gestos, alcançando 89,77% com o modelo gMLP e 92,21% com o InceptionTime. Esta abordagem destaca-se por sua inovação ao comparar e integrar diferentes tipos de sensores, como sEMG, sensores flexíveis e inerciais de acelerômetro e giroscópio, e pela eficácia demonstrada na aplicação de técnicas de Deep Learning na classificação de gestos em Libras. |
| Abstract: | This work proposes the development of an innovative system for capturing and classifying gestures in Brazilian Sign Language (Libras) using wearable sensing technologies and Deep Learning. The justification for this research lies in the need to provide effective alternatives for communication in Libras, especially among individuals with and without hearing impairments. The objectives range from implementing instrumented gloves with a variety of sensors, including flexible and inertial sensors (such as accelerometers and gyroscopes), as well as the Armband Myo, to developing the system for data capture during gesture execution. Additionally, the application of Deep Learning models for gesture classification is proposed. The results obtained reveal a promising accuracy in gesture classification, reaching 89.77% with the gMLP model and 92.21% with InceptionTime. This approach stands out for its innovation in comparing and integrating different types of sensors, such as surface electromyography (EMG), flexible sensors, and inertial sensors of accelerometer and gyroscope, and for the demonstrated effectiveness in applying Deep Learning techniques in gesture classification in Libras. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/38685 |
| Aparece nas coleções: | CT - Engenharia Eletrônica |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| reconhecimentopadroesgestoslibras.pdf | 4,9 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
