Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/29025| Título: | Computer vision methods for tattoo detection, location and classification |
| Título(s) alternativo(s): | Métodos de visão computacional para detecção, localização e classificação de tatuagens |
| Autor(es): | Silva, Rodrigo Tchalski da |
| Orientador(es): | Lopes, Heitor Silvério |
| Palavras-chave: | Tatuagem - Detecção Tatuagem - Localização Tatuagem - Classificação Visão por computador Identificação biométrica Processamento de imagens Tattooing - Detection Tattooing - Location Tattooing - Classification Computer vision Biometric identification Image processing |
| Data do documento: | 31-Mai-2022 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Curitiba |
| Citação: | SILVA, Rodrigo Tchalski da. Computer vision methods for tattoo detection, location and classification. 2022. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2022. |
| Resumo: | As tatuagens ainda são pouco exploradas como fator biométrico para identificação humana, principalmente na segurança pública, onde elas podem desempenhar um papel importante na identificação de criminosos, vítimas ou outras pessoas de interesse. As tatuagens são classificadas como biometria suave, pois não são permanentes e podem mudar ao longo do tempo, diferentemente dos traços biométricos rígidos (impressão digital, íris, DNA, etc.). Desta forma, o objetivo principal deste trabalho é aplicar métodos de visão computacional e transferência de aprendizado para os problemas de detecção, localização e classificação de tatuagens em imagens. Dada a escassez de bases de dados disponíveis na literatura para estes problemas, foram criadas bases de dados anotadas específicas para cada um dos problemas aqui abordados. Para o problema de detecção de tatuagens foi apresentado um modelo de aprendizado profundo baseado em transferência de aprendizado. Também foi aplicada a técnica de data augmentation para melhorar a diversidade dos conjuntos de treinamento para obter uma melhor precisão de classificação, e experimentos comparativos foram feitos para avaliar a diversidade de imagens nos conjuntos de dados e a precisão do modelo proposto. Para o problema de localização de tatuagens foi apresentada uma abordagem retreinando a rede Mask R-CNN com uma base de dados de tatuagens, e um fine tuning foi realizado na rede com o objetivo de encontrar o conjunto de parâmetros que apresentasse melhores resultados no treinamento da rede. Para o problema de classificação de tatuagens o modelo proposto foi também baseado na utilização de redes profundas com transferência de aprendizado para classificar um conjunto de 40 categorias de tatuagens, muitas delas com significado prático para segurança pública. A técnica de data augmentation também foi utilizada para melhorar a diversidade e robustez dos dados de treinamento. Na detecção de tatuagens os resultados foram muito promissores, alcançando uma precisão de 95,1% no conjunto de teste e um F1-score de 0,79 em um conjunto de dados externo que, no geral, foram satisfatórios, dada a complexidade do problema. Na localização de tatuagens os resultados alcançaram uma precisão média de 89,3%, mostrando que a rede Mask R-CNN possui grande capacidade de adaptação para o ambiente de tatuagens, além de ser realizada uma análise qualitativa que ajudou a entender como as características das imagens e das anotações tem influência sobre os resultados. Na classificação de tatuagens, os resultados alcançaram 85,48% de acurácia ao utilizar validação cruzada e data augmentation, mostrando que a abordagem de transferência de aprendizado adotada tem boa capacidade para este problema. Trabalhos futuros incluirão melhorar a qualidade e o volume das bases de dados, realizar um estudo mais profundo sobre o ajuste fino de parâmetros das redes, e estudos de técnicas de mundo aberto para classificação de tatuagens, além de desenvolvimento de modelos para outros problemas que compõem o sistema de reconhecimento de tatuagens. |
| Abstract: | Tattoos are still poorly explored as a biometric factor for human identification, especially in law enforcement, where they can play an important role in identifying criminals, victims or other persons of interest. Tattoos are classified as soft biometrics as they are not permanent and can change over time, unlike hard biometric traits (fingerprint, iris, DNA, etc.). In this way, the main objective of this work is to apply computer vision methods and transfer learning to the problems of tattoo detection, location and classification in images. Given the scarcity of datasets available in the literature for these problems, specific annotated datasets were created for each problem addressed here. For the tattoo detection problem, a deep learning model based on transfer learning was presented. Data augmentation technique was also applied to improve the diversity of the training sets to obtain a better classification accuracy, and comparative experiments were carried out to evaluate the diversity of images in the data sets and the accuracy of the proposed model. For the tattoo location problem, an approach was presented by retraining the Mask R-CNN network with a tattoo dataset, and a fine-tuning was performed on the network to find the set of parameters that presented the best results in training the network. For the tattoo classification problem, the proposed model was also based on using deep networks with transfer learning to classify a set of 40 tattoo categories, many of them with practical meaning for law enforcement. Data augmentation technique was also used to improve the diversity and robustness of the training data. In tattoo detection, the results were very promising, achieving an accuracy of 95.1% in the test dataset and an F1-score of 0.79 in an external dataset, which, in general, were satisfactory, given the complexity of the problem. In tattoos location, the results reached an average accuracy of 89.3%, showing that the Mask R-CNN network has great adaptability to the tattoo environment, in addition to performing a qualitative analysis that helped to understand how the characteristics of images and annotations influence the results. In tattoos classification, the results reached accuracy of 85.24% when using cross validation and data augmentation, showing that the transfer learning approach adopted has good capacity for this problem. Future work will include improving the quality and volume of the databases, conducting a more in-depth study on the fine-tuning of network parameters, and studies of open-world techniques for classifying tattoos, as well as developing models for other problems that compose the tattoo recognition roadmap. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/29025 |
| Aparece nas coleções: | CT - Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| tattoodetectionlocationclassification.pdf | 46,2 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
