Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/29964| Título: | Content-based video retrieval from natural language |
| Título(s) alternativo(s): | Recuperação de vídeos baseada em conteúdo a partir de linguagem natural |
| Autor(es): | Jorge, Oliver Cabral |
| Orientador(es): | Lopes, Heitor Silvério |
| Palavras-chave: | Vídeos para Internet Processamento de linguagem natural (Computação) Redes neurais (Computação) Visão por computador Redes sociais on-line Recuperação da informação Aprendizado do computador Internet videos Natural language processing (Computer science) Neural networks (Computer science) Computer vision Online social networks Information retrieval Machine learning |
| Data do documento: | 12-Set-2022 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Curitiba |
| Citação: | JORGE, Oliver Cabral. Content-based video retrieval from natural language. 2022. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2022. |
| Resumo: | Cada vez mais os vídeos estão se tornando os meios mais comuns de comunicação, alavancadas pela popularização de aparelhos acessíveis de gravação de vídeos e pelas redes sociais como TikTok, Instragram e demais. As formas mais comuns de pesquisa de vídeos nestas redes sociais bem como nos portais de buscas, se baseiam em metadados vinculados aos vídeos por meio de palavras-chaves e classificações prévias. No entanto, buscas por palavras-chaves dependem de um conhecimento exato do que se deseja, e não necessariamente podem ser eficientes ao tentar encontrar um determinado vídeo a partir de uma descrição, superficial ou não, de uma determinada cena, podendo incorrer em resultados frustrantes da busca. O objetivo deste trabalho é encontrar um determinado vídeo dentro de uma lista de vídeos disponíveis a partir de uma descrição textual em linguagem natural baseado apenas no conteúdo de suas cenas, sem depender de metadados previamente catalogados. A partir de um dataset contendo vídeos com um número definido de descrições de suas cenas, foi modelada uma rede siamesa com função de perda tripla para identificar, em um hiperespaço, as similaridades entre duas modalidades diferentes, sendo uma delas as informações extraídas de um vídeo, e a outra as informações extraídas de um texto em linguagem natural. A arquitetura final do modelo, bem como os valores de seus parâmetros, foi definida baseada em testes que seguiram os melhores resultados obtidos. Devido ao fato de que os vídeos não são classificados em grupos ou classes e considerando que a função de perda tripla se baseia em um texto âncora e dois exemplos de vídeos, um positivo e um negativo, foi identificada uma dificuldade na seleção de exemplos falsos necessários para o treinamento da arquitetura. Desta forma, também foram testados métodos de escolha de exemplos de vídeos negativos para treinamento utilizando uma escolha aleatória e uma escolha direcionada, baseada nas distâncias das descrições disponíveis dos vídeos em fase de treinamento, sendo a primeira a mais eficiente. Ao final dos testes, foi alcançado um resultado com presença exata do vídeo buscado em 10,67% dos casos no top-1 e em 49,80% dos casos no top-10. Mais do que os resultados numéricos, foi feita uma análise qualitativa dos resultados. Desta análise, foi identificado que o modelo não se comporta de forma satisfatória para buscas em palavras atômicas, com melhores resultados em descrições mais complexas. Os bons resultados também estão principalmente relacionados ao uso de verbos e substantivos, e menos aos adjetivos e advérbios. Ainda, observou-se que os vídeos retornados possuem, de alguma forma, similaridades de cenas ou de tópicos com o texto procurado, indicando que a rede identificou o significado do texto procurado. De maneira geral, os resultados obtidos são promissores e encorajam a continuidade da pesquisa. Trabalhos futuros incluirão o uso de novos modelos de extração de informação de vídeos e de textos, bem como maior aprofundamento na escolha de exemplos negativos de vídeos para reforçar o treinamento. |
| Abstract: | More and more, videos are becoming the most common means of communication, leveraged by the popularization of affordable video recording devices and social networks such as TikTok, Instagram, and others. The most common ways of searching for videos on these social networks as well as on search portals are based on metadata linked to videos through keywords and previous classifications. However, keyword searches depend on exact knowledge of what you want and may not necessarily be efficient when trying to find a particular video from a description, superficial or not, of a particular scene, which may lead to frustrating results in the search. The objective of this work is to find a particular video within a list of available videos from a textual description in natural language based only on the content of its scenes, without relying on previously cataloged metadata. From a dataset containing videos with a defined number of descriptions of their scenes, a Siamese network with a triplet loss function was modeled to identify, in hyperspace, the similarities between two different modalities, one of them being the information extracted from a video, and the other information extracted from a text in natural language. The final architecture of the model, as well as the values of its parameters, was defined based on tests that followed the best results obtained. Because videos are not classified into groups or classes and considering that the triplet loss function is based on an anchor text and two video examples, one positive and one negative, a difficulty was identified in the selection of false examples needed for the model training. In this way, methods of choosing examples of negative videos for training were also tested using a random choice and a directed choice, based on the distances of the available descriptions of the videos in the training phase, being the first the most effective. At the end of the tests, a result was achieved with the exact presence of the searched video in 10.67% of the cases in the top 1 and 49.80% of the cases in the top 10. More than the numerical results, a qualitative analysis of the results was conducted. From this analysis, it was identified that the model does not behave satisfactorily for searches in atomic words, with better results in more complex descriptions. Satisfactory results are also mainly related to the use of verbs and nouns, and less to adjectives and adverbs. Still, it was observed that the returned videos have, in some way, similarities of scenes or topics with the searched text, indicating that the network identified the meaning of the original text query. In general, the results obtained are promising and encourage the continuity of the research. Future work will include the use of new models for extracting information from videos and texts, as well as further studies into the controlled choice of negative video examples to reinforce training. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/29964 |
| Aparece nas coleções: | CT - Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| videoretrievalnaturallanguage.pdf | 3,31 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
