Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/30619| Título: | Comparação entre os modelos pré-treinados GPT-3 e BERT na estimativa de esforço de software por analogia a partir de requisitos textuais |
| Título(s) alternativo(s): | Comparison between the pre-trained models GPT-3 and BERT in software effort estimation by analogy from text requeriments |
| Autor(es): | Baratto, Gabriel Junges |
| Orientador(es): | Fávero, Eliane Maria de Bortoli |
| Palavras-chave: | Software - Desenvolvimento Aprendizado do computador Processamento de linguagem natural (Computação) Software engineering Machine learning Natural language processing (Computer science) |
| Data do documento: | 9-Dez-2022 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Pato Branco |
| Citação: | BARATTO, Gabriel Junges. Comparação entre os modelos pré-treinados GPT-3 e BERT na estimativa de esforço de software por analogia a partir de requisitos textuais. 2022. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Computação) - Universidade Tecnológica Federal do Paraná, Pato Branco, 2022. |
| Resumo: | A estimativa do esforço de software necessário para o desenvolvimento dos requisitos de usuário é uma das etapas mais importantes do ciclo de desenvolvimento de software. Diversas são as técnicas para realizar essa atividade, mas a Inteligência Artificial, com métodos de Aprendizado de Máquina associados ao Processamento de Linguagem Natural (PLN), podem contribuir, automatizando parte desse processo de estimativa, com base em textos de requisitos (ex. histórias de usuário) de projetos passados, trata-se da Estimativa de Esforço de Software por Analogia (EESA). A EESA requer conhecimento acerca de dados históricos de projetos e, por esse motivo, raramente é usada durante a fase de planejamento do processo de desenvolvimento. Ainda, normalmente na fase inicial, o que se tem são requisitos em formato textual. Sendo assim, esse trabalho objetivou realizar a comparação dos modelos de representação textual GPT-3 e BERT quando aplicados à EESA a partir da representação textual de requisitos de usuário. Para isso, esse trabalho aplicou o modelo pré-treinado contextualizado GPT-3 na representação de características textuais para a inferência de EESA e em seguida, realizou a comparação de seu desempenho com o modelo SE3M – Software Effort Estimation Embedding Model –, que fez uso do modelo de linguagem pré-treinado BERT. Para o pré-processamento dos requisitos, utilizaram-se expressões regulares, e para a inferência das estimativas, foram treinadas redes neurais feedforward. Para a avaliação do modelo, dois experimentos com diferentes particionamentos do corpus de texto foram realizados, dos quais foram extraídas as métricas Erro Quadrático Médio (MSE), Erro Absoluto Médio (MAE) e Mediana dos Erros Absolutos (MdAE). Obtidas as métricas dos dois experimentos, compararam-se as mesmas com os resultados do modelo SE3M. Das métricas obtidas, destaca-se o MAE de 3,80±1,20 (intervalo de confiança de 95%), que provém do experimento que utilizou um particionamento entre-repositórios. Este resultado é semelhante ao obtido pelos modelos SE3M e Deep-SE (também comparado), porém com a vantagem do modelo GPT-3 ter sido utilizado sem ajuste-fino. A principal limitação levantada na utilização do GPT-3 foi o custo, que é exigido tanto para extração da representação textual quanto para o ajuste-fino. |
| Abstract: | Estimating the software effort required to develop each of user requirements is one of the most important steps of the software development cicle. There are several techniques to perform this activity, but Artificial Intelligence, such as Machine Learning methods associated with Natural Language Processing (NLP), can contribute by automating part of this estimation process, based on requirements texts (e.g. user stories). Analogy-based software effort estimation (ASEE) requires knowledge about historical project data and is rarely used during the planning phase of the development process. Still, normally in the initial phase, it is common to have requirements in textual format. Therefore, this work aimed to perform a comparation of the text representation models GPT-3 and BERT when applied on the ASEE from the analysis of textual user requirements. For that, this work applied the contextualized pre-trained model GPT-3 in the representation of textual features for the inference of software effort estimates by analogy and then compared its performance with that of the SE3M – Software Effort Estimation Embedding Model –, which uses the pre-trained language model BERT. For the pre-processing of the requirements, regular expressions were used, and for the inference of the estimates, feedforward neural networks were trained. To evaluate the model, two experiments with different partitioning of the text corpus were performed, from which the metrics Mean Squared Error (MSE), Mean Absolute Error (MAE) and Median Absolute Error (MdAE) were extracted. Once the metrics of the two experiments were obtained, they were compared with the results of the SE3M model. In the end, a better performance was observed from the model that used the GPT-3 compared to the one that used the BERT model (SE3M). Of the metrics obtained, the MAE of 3.80±1.20 (95% confidence interval) stands out, which comes from the experiment that used a cross-repository partitioning. This result is similar to that obtained by the SE3M and Deep-SE (also compared) models, but with the advantage that the GPT-3 model was used without fine-tuning. The main limitation raised in using GPT-3 was the cost, which is required both for extracting the text representation and for fine-tuning. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/30619 |
| Aparece nas coleções: | PB - Engenharia de Computação |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| comparacaogptbertsoftware.pdf | 1,91 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
