Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/5018
Título: | Luva instrumentada para reconhecimento de padrões de gestos em Libras |
Título(s) alternativo(s): | Instrumented glove for recognition of the Libras gestures patterns |
Autor(es): | Dias, Thiago Simões |
Orientador(es): | Pichorim, Sérgio Francisco |
Palavras-chave: | Língua brasileira de sinais Língua brasileira de sinais - Equipamento e acessórios Comunicação visual - Aspectos sociais Comunicação visual - Equipamento e acessórios Redes neurais (Computação) Surdos - Meios de comunicação Lingua de sinais - Equipamento e acessórios Inteligência artificial Sistemas de reconhecimento de padrões Brazilian Sign Language Brazilian Sign Language - Equipment and supplies Visual communication - Social aspects Visual communication - Equipment and supplies Neural networks (Computer science) Deaf - Means of communication Sign language - Equipment and supplies Artificial intelligence Pattern recognition systems |
Data do documento: | 24-Mar-2020 |
Editor: | Universidade Tecnológica Federal do Paraná |
Câmpus: | Curitiba |
Citação: | DIAS, Thiago Simões. Luva instrumentada para reconhecimento de padrões de gestos em Libras. 2020. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020. |
Resumo: | Este trabalho apresenta o desenvolvimento de um sistema para reconhecer padrões de gestos da Língua Brasileira de Sinais (Libras). Este sistema é composto de uma luva instrumentada, sistema de aquisição, processamento e classificação por meio de Redes Neurais Artificiais (RNA). A luva desenvolvida possui cinco sensores flexíveis, dois sensores de contato e um sensor inercial (acelerômetro e giroscópio triaxiais). Para coletar os dados referentes aos gestos executados por voluntários, duas versões de sistemas de aquisição de dados foram utilizadas: sistema de aquisição de dados com fio e sistema de aquisição de dados sem fio. No sistema com fio, cinco voluntários participaram da coleta de dados referente aos gestos das letras do alfabeto manual em Libras. Já com o sistema sem fio, dez voluntários participaram da coleta de dez diferentes palavras em Libras. Os dados coletados foram segmentados em três janelas (quantidades fixas de amostras do sinal) que representam as fases de construção, gesto e relaxamento dos gestos. Após a segmentação, cada janela segmentada foi submetida à extração de características para gerar um vetor de características. Para a classificação, o vetor de características foi dividido em 80% para treinamento e 20% para teste da RNA. A taxa média de acertos obtida para os gestos do alfabeto manual foi de 96,19% e a taxa média obtida para os gestos de palavras foi de 98,96%. Durante o desenvolvimento da pesquisa, algumas contribuições foram geradas por meio das análises realizadas, evidenciando o potencial do sistema para reconhecer gestos em Libras. As análises realizadas e discutidas no trabalho são relacionadas aos sensores, características, voluntários e quantidade de dados separados para treinamento da rede. |
Abstract: | This paper presents the development of a system to recognize gestures patterns of the Brazilian Sign Language (Libras). This system is composed of an instrumented glove, acquisition system, processing and classification by Artificial Neural Networks (RNA). The developed glove has five flex-sensors, two contact sensors and an inertial sensor (three-axis accelerometer and gyroscope). Two versions of data acquisition systems were used to collect the data regarding the gestures performed by volunteers: wired data acquisition system and wireless data acquisition system. In the wired system, five volunteers participated in the collection of data related to the characters of Libras alphabet. With the wireless system, ten volunteers participated in the collection of ten different words in Libras. The collected data were segmented in three windows (fixed amounts of signal samples) that represent the construction period, gesture period and relaxation period of the gestures. After the segmentation, each segmented window was submitted to the extraction of features to generate a vector of features. For classification, the vector of features was divided into 80% for training and 20% for testing of the RNA. The accuracy rate obtained for manual alphabet gestures was 96.19% and the accuracy rate obtained for word gestures was 98.96%. During the research processes, some contributions were generated through the performed analysis, evidencing the potential of the system to gestures recognize in Libras. The performed and discussed analyses in the work are related to sensors, characteristics, volunteers and amount of separate data for network training. |
URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/5018 |
Aparece nas coleções: | CT - Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
luvainstrumentadagestoslibras.pdf | 3,3 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.