Use este identificador para citar ou linkar para este item: http://repositorio.utfpr.edu.br/jspui/handle/1/28038
Registro completo de metadados
Campo DCValorIdioma
dc.creatorSouza, Jonas Oliveira de-
dc.date.accessioned2022-04-14T14:40:09Z-
dc.date.available2022-04-14T14:40:09Z-
dc.date.issued2021-08-11-
dc.identifier.citationSOUZA, Jonas Oliveira de. Detecção de outliers em pipelines de dados. 2021. Trabalho de Conclusão de Curso de Especialização (Ciência de Dados e suas Aplicações) - Universidade Tecnológica Federal do Paraná, Curitiba, 2021.pt_BR
dc.identifier.urihttp://repositorio.utfpr.edu.br/jspui/handle/1/28038-
dc.description.abstractThe technological advances of the last decades allowed a huge increase in the rate and amount of data generated by computing systems. Data flow management has become relevant for obtaining information. Data pipelines are used to transport the data from its source to different sorts of targets, transforming the data itself whether necessary. Data pipelines are sensitive to changes that occur both in the extraction process and in their business rules, leading to data inconsistency. This study proposes a solution to identify behavior changes in data pipelines (outliers), through the use of machine learning. Some machine learning algorithms have been applied during the data loading process by using the pipeline metrics to identify anomalies. The proposed work has been evaluated throughout some case studies that use a publicly available dataset and another created in the context of the study, namely, US Accidents Updated until Dec 2020 and Local Machine Metrics. An environment was created using Docker. It is comprised of three containers: one using StreamSets for creating data pipelines; one using MySQL database to store pipeline metrics, and one using Jupyter to perform exploratory analysis of the data and testing of the algorithms. The algorithms used in this study were PCA and Dbscan. The obtained results are considered satisfactory since the pipelines that had divergent comportment were correctly identified and reported.pt_BR
dc.languageporpt_BR
dc.publisherUniversidade Tecnológica Federal do Paranápt_BR
dc.rightsopenAccesspt_BR
dc.subjectFluxo de dados (Computadores)pt_BR
dc.subjectAprendizado de máquinaspt_BR
dc.subjectBanco de dadospt_BR
dc.subjectAlgorítmospt_BR
dc.subjectData flow computingpt_BR
dc.subjectMachine learningpt_BR
dc.subjectData basespt_BR
dc.subjectAlgorithmspt_BR
dc.titleDetecção de outliers em pipelines de dadospt_BR
dc.title.alternativeOutliers detection in data pipelinespt_BR
dc.typespecializationThesispt_BR
dc.description.resumoCom o avanço tecnológico das últimas décadas, a velocidade e a quantidade de dados gerados aumentaram consideravelmente. A gestão do fluxo dos dados tornou-se relevante para obtenção de informações. Pipelines de dados podem ser utilizados para transportar os dados, bem como transforma-los de acordo com cada necessidade. Os pipelines de dados são sensíveis a mudanças que podem ocorrer tanto em suas extrações quanto em suas regras de negócio, ocasionando inconsistência de dados. Este estudo busca uma solução para identificar alterações de comportamentos em pipelines de dados (outliers) através do emprego de Machine Learning. Os algoritmos de Machine Learning serão aplicados durante processo de carga dos dados, utilizando as métricas dos pipelines para identificar as anomalias. O trabalho proposto foi avaliado através de alguns casos de estudos que utilizou um dataset público e outro gerado para o contexto do estudo, nomeados, US Accidents Updated until Dec 2020 e métricas obtidas da máquina local. Para viabilizar o estudo foi criado um ambiente, através do Docker, composto por três containers, um StreamSets para criação de pipelines de dados, um banco de dados Mysql para armazenar as métricas dos pipelines, outro container com o Jupyter para realizar as análises exploratórias dos dados e realização de testes dos algoritmos. Os algoritmos utilizados para este estudo foram o PCA e o Dbscan. Os resultados obtidos, ainda que em um ambiente simulado, foram satisfatórios apontando os pipelines que apresentaram mudanças de comportando.pt_BR
dc.degree.localCuritibapt_BR
dc.publisher.localCuritibapt_BR
dc.contributor.advisor1Wehrmeister, Marco Aurélio-
dc.contributor.referee1Wehrmeister, Marco Aurélio-
dc.contributor.referee2Rosa, Marcelo de Oliveira-
dc.contributor.referee3Berardi, Rita Cristina Galarraga-
dc.publisher.countryBrasilpt_BR
dc.publisher.programCiência de Dados e suas Aplicaçõespt_BR
dc.publisher.initialsUTFPRpt_BR
dc.subject.cnpqCNPQ::CIENCIAS EXATAS E DA TERRApt_BR
Aparece nas coleções:CT - Ciência de Dados e suas Aplicações

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
CT_CCEDA_2019_02_07.pdf1,22 MBAdobe PDFThumbnail
Visualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.