Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/25496
Registro completo de metadados
Campo DC | Valor | Idioma |
---|---|---|
dc.creator | Berno, Brenda Cinthya Solari | - |
dc.date.accessioned | 2021-07-06T00:35:41Z | - |
dc.date.available | 2021-07-06T00:35:41Z | - |
dc.date.issued | 2021-05-21 | - |
dc.identifier.citation | BERNO, Brenda Cinthya Solari. Sketch-Based multimodal image retrieval using deep learning. 2021. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021. | pt_BR |
dc.identifier.uri | http://repositorio.utfpr.edu.br/jspui/handle/1/25496 | - |
dc.description.abstract | The constant growth of multimedia data generated every day makes it increasingly difficult to retrieve it. Google is known to do a good job of retrieving documents by searching for keyword matches. However, multimedia data hardly contain keywords that identify them. The main objective of this work is to retrieve a photographic image using another modality different from that of the photograph, such as a sketch. A sketch is different from the image since it is a set of hand-drawn lines and colors and texture is lost, when compared with a photograph that is a more complex visual representation representing the real world. The selected study case for this method is tattoo photograph retrieval using sketches. Due to the lack of appropriate data for this study, a new dataset of sketches and tattoo images was created. The proposed model consists of a Siamese neural network that receives as input visual features previously extracted from each modality to learn an optimal representation for photographs and sketches within an embedded space, where the image of a class is close to the sketch of the same class. Two cost functions were tested, and experiments showed that the contrastive loss function achieved better results than the triplet loss function in the retrieval of images. Despite having limited data, in the image retrieval experiments the average precision achieved 85% precision for our dataset at top-5 results and 85% precision for Sketchy at top-10 results. We observed that retrieval results depend on the quality and diversity of the data used for training, especially in sketch-based image retrieval, which, in turn, depends on the user’s ability to draw. Overall, the proposed methods are promising and results encourage further research. Future works include the extension of the dataset (both tattoo images and sketches) and, also, experiments with other modalities. | pt_BR |
dc.language | eng | pt_BR |
dc.publisher | Universidade Tecnológica Federal do Paraná | pt_BR |
dc.rights | openAccess | pt_BR |
dc.rights.uri | http://creativecommons.org/licenses/by/4.0/ | pt_BR |
dc.subject | Sistemas multimídia | pt_BR |
dc.subject | Recuperação de dados (Computação) | pt_BR |
dc.subject | Sistemas de recuperação da informação | pt_BR |
dc.subject | Redes neurais (Computação) | pt_BR |
dc.subject | Visão Computacional | pt_BR |
dc.subject | Aprendizado do computador | pt_BR |
dc.subject | Tatuagem - Imagem | pt_BR |
dc.subject | Multimedia systems | pt_BR |
dc.subject | Data recovery (Computer science) | pt_BR |
dc.subject | Information storage and retrieval systems | pt_BR |
dc.subject | Neural networks (Computer science) | pt_BR |
dc.subject | Computer vision | pt_BR |
dc.subject | Machine learning | pt_BR |
dc.subject | Tattooing - Imaging | pt_BR |
dc.title | Sketch-Based multimodal image retrieval using deep learning | pt_BR |
dc.title.alternative | Recuperação de imagem multimodal baseada em esboço usando deep learning | pt_BR |
dc.type | masterThesis | pt_BR |
dc.description.resumo | O crescimento constante dos dados multimídia gerados todos os dias torna cada vez mais difícil recuperá-los. O Google é conhecido por fazer um bom trabalho de recuperação de documentos pesquisando correspondências de palavras-chave. No entanto, os dados multimídia dificilmente contêm palavras-chave que os identificam. O objetivo principal deste trabalho é recuperar uma imagem fotográfica usando outra modalidade diferente da foto, tal como um esboço. Um esboço é diferente de uma foto pois é um conjunto de linhas desenhadas a mão, e cores e textura são perdidos, quando comparado com uma foto que é uma representação visual mais complexa representando o mundo real. O estudo de caso para o método proposto é a recuperação de fotos de tatuagens com base em esboços. Devido à falta de dados adequados para este estudo, foi criado um novo conjunto de dados de esboços e imagens de tatuagens. O modelo proposto consiste de uma rede neural siamesa que recebe como entrada características visuais, previamente extraídas de cada modalidade, para aprender uma representação ótima para fotos e esboços dentro de um espaço incorporado, onde a imagem de uma classe está próxima ao esboço da mesma classe. Duas funções de custo foram testadas, e os experimentos mostraram que, para a recuperação de imagens, a função de perda de contraste obteve melhores resultados do que a função de perda tripla. Embora a quantidade de dados fosse limitada, nos experimentos de recuperação de imagens foi alcançada a precisão de 85% para nosso conjunto de dados no top-5 e 85% para Sketchy no top-10. Foi observado que os resultados da recuperação dependem muito da qualidade e diversidade dos dados usados para treinamento da rede, especialmente a respeito da recuperação baseada em esboços, a qual, por sua vez, depende da habilidade de desenhar do usuário. De maneira geral, os métodos propostos são promissores para o problema, e os resultados encorajam a continuidade da pesquisa. Trabalhos futuros incluirão a extensão do conjunto de dados proposto (imagens de tatuagens e esboços) e, também, experimentos com outras modalidades. | pt_BR |
dc.degree.local | Curitiba | pt_BR |
dc.publisher.local | Curitiba | pt_BR |
dc.creator.ID | https://orcid.org/0000-0002-1299-0318 | pt_BR |
dc.creator.Lattes | http://lattes.cnpq.br/2684453365553856 | pt_BR |
dc.contributor.advisor1 | Lopes, Heitor Silverio | - |
dc.contributor.advisor1ID | https://orcid.org/0000-0003-3984-1432 | pt_BR |
dc.contributor.advisor1Lattes | http://lattes.cnpq.br/4045818083957064 | pt_BR |
dc.contributor.referee1 | Gabardo, Ademir Cristiano | - |
dc.contributor.referee1Lattes | http://lattes.cnpq.br/9872210667199371 | pt_BR |
dc.contributor.referee2 | Lopes, Heitor Silverio | - |
dc.contributor.referee2ID | https://orcid.org/0000-0003-3984-1432 | pt_BR |
dc.contributor.referee2Lattes | http://lattes.cnpq.br/4045818083957064 | pt_BR |
dc.contributor.referee3 | Dorini, Leyza Elmeri Baldo | - |
dc.contributor.referee3ID | https://orcid.org/0000-0002-0483-3435 | pt_BR |
dc.contributor.referee3Lattes | http://lattes.cnpq.br/5726947194230379 | pt_BR |
dc.contributor.referee4 | Ribeiro, Manasses | - |
dc.contributor.referee4ID | https://orcid.org/0000-0002-7526-5092 | pt_BR |
dc.contributor.referee4Lattes | http://lattes.cnpq.br/6475893755893056 | pt_BR |
dc.publisher.country | Brasil | pt_BR |
dc.publisher.program | Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial | pt_BR |
dc.publisher.initials | UTFPR | pt_BR |
dc.subject.cnpq | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO | pt_BR |
dc.subject.capes | Engenharia Elétrica | pt_BR |
Aparece nas coleções: | CT - Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
sketchbasedmultimodalimage.pdf | 11,99 MB | Adobe PDF | ![]() Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons