Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/31331| Título: | Vehicle industry big data analysis using clustering approaches |
| Título(s) alternativo(s): | Análise de dados volumosos da indústria de veículos usando abordagem de agrupamento |
| Autor(es): | Seixas, Lenon Diniz |
| Orientador(es): | Corrêa, Fernanda Cristina |
| Palavras-chave: | Aprendizado do computador Indústrias Automação Aprendizagem Análise por agrupamento Veículos a motor - Indústria Big data Machine learning Industries Automation Learning Cluster analysis Motor vehicle industry |
| Data do documento: | 16-Nov-2022 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Ponta Grossa |
| Citação: | SEIXAS, Lenon Diniz. Vehicle industry big data analysis using clustering approaches. 2022. Dissertação (Mestrado em Engenharia Elétrica) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2022. |
| Resumo: | Trabalhar com dados se tornou algo fundamental e imprescindível no mundo moderno. Considerando uma economia e indústria mundial globalizada, a análise e visualização de dados oferece informações esclarecedoras para tomadas de decisão e planejamento estratégico. Para extrair o máximo valor possível de um conjunto de dados, a ciência de dados oferece diversos métodos estatísticos e científicos, abrangendo toda a preparação, limpeza, agregação e manipulação de dados. O Aprendizado de máquina (ML) e a Inteligência Artificial (AI) vêm juntos para aprender e explorar os dados, descobrindo coisas que não podem ser vistas apenas com a experiência do analista. O setor automotivo, que possui grande influência na economia e indústria mundial, sofre os impactos de ser focado em tecnologia e em prazos relativamente curtos. A transformação digital tem então um efeito disruptivo, considerado como o fenômeno mais importante nos 140 anos do setor, fazendo com que empresas de automóveis ofereçam produtos personalizados e otimizados para as necessidades do cliente. Para fazer isso, é necessário trabalhar extensivamente com dados e ciência de dados. Então, este trabalho traz um estudo para investigar os métodos de clustering de um conjunto de dados Big Data de uma companhia de automóveis, realizando uma revisão da literatura, tratando, normalizando e agrupando usando os métodos pesquisados, e, por fim, comparando e analisando os resultados. Foi utilizado o método Knowledge Discovery and Data mining para realizar o processo de mineração, comparando o desempenho dos algoritmos K-Means, Fuzzy CMeans (FCM) e Mapas Auto-Organizáveis (SOM) por meio de algumas métricas: soma dos quadrados dentro de clusters (SSW), soma dos quadrados entre clusters (SSB), índice silhueta (SI) e validação cruzada K-Fold com pontuação de homogeneidade. Para o parâmetro de inclinação os algoritmos de ML trouxeram uma melhor resposta em geral quando comparado ao método de classificação por regras chamado GTA, que não é um algoritmo de aprendizado de máquina, quando analisando as métricas apresentadas. Dentre os algoritmos de ML implementados, K-Means e Fuzzy C-Means, K-Means é ligeiramente superior para as métricas SSW e SSB, porém o Fuzzy C-Means é melhor nas métricas SI e validação cruzada. Quando é analisado o conjunto dos resultados obtidos, os algoritmos de ML tendem a distribuir mais igualitariamente a população entre os clusters do que a classificação sem aprendizado e a métrica SI comprova isso como uma boa decisão. Os métodos trazidos para este trabalho apresentaram resultados satisfatórios sobre o conjunto de dados, e mostram como a aplicação de ML pode trazer benefícios à mineração de dados. Com isso, conseguimos responder à pergunta "Como os dados históricos de uso podem ajudar uma fabricante de caminhões a melhorar o desenvolvimento de produtos e o consumo de combustível?". O K-Means é uma boa opção para técnica de agrupamento, enquanto o FCM também se mostrou uma boa técnica, trabalhando bem principalmente com situações de sobreposição. O FCM traz também uma interpretação extra da porcentagem de associação do cluster que pode ajudar os usuários finais a entender ainda mais os dados. Para trabalhos futuros, também podem ser implementados K-Medoids como método alternativo que considera um indivíduo como o centro do cluster. Este trabalho pode ser estendido para outros tipos de conjuntos de dados. |
| Abstract: | Working with data has become something fundamental and essential in the modern world. Considering a globalized world economy and industry, data analysis and visualization offer enlightening information for decision making and strategic planning. Data science provides diverse statistical and scientific methods to extract the most value possible from a data set, covering all the preparation, cleaning, aggregation, and manipulation of data. Machine Learning (ML) and Artificial Intelligence (AI) come along with it to learn and explore the data, uncovering things that can not be seen with only the analyst experience. The automotive sector, which significantly influences the world economy and industry, suffers from focusing on technology and short-term focus. Digital transformation has a disruptive effect, considered essential in the sector’s 140 years, causing car companies to offer customized products optimized for customer needs. To work extensively with data and data science becomes fundamental. So, this work brings a study to explore clustering methods in a Big Data dataset of a car company, performing a literature review; treating, normalizing and grouping using the researched methods; and, finally, comparing and analyzing the results. The Knowledge Discovery and Data mining method was used to perform the mining process, comparing the performance of the K-Means, Fuzzy C-Means (FCM) and Self-Organizing Maps (SOM) algorithm through some metrics: sum of squares within clusters (SSW), sum of squares between clusters (SSB), silhouette index (SI) and K-Fold cross-validation with homogeneity score. When evaluating the vehicle’s distribution of the results obtained, the ML algorithms tend to distribute more evenly among the clusters than the classification without learning, and the SI metric proves this as a good decision. The methods brought to this work showed satisfactory results on the dataset, and demonstrate how the application of ML can bring benefits to data mining. With this, we managed to answer the question "How can historical usage data help a truck manufacturer improve product development and fuel consumption?". K-Means is a good and main clustering technique, while FCM has also proved to be a good technique, working mainly with overlapping situations. FCM also brings an extra interpretation of cluster membership percentage that can help end users understand the data even more. For future works, it can be also implemented K-Medoids as an alternative method that considers an individual as the center of the cluster. This work can also be extended to other types of vehicle’s data set. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/31331 |
| Aparece nas coleções: | PG - Programa de Pós-Graduação em Engenharia Elétrica |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| vehicleindustrybigdata.pdf | 3,33 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
