Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/40899| Título: | Pentest assistido por inteligência artificial: um estudo comparativo entre execução manual, LLMs e agente autônomo |
| Título(s) alternativo(s): | AI-assisted penetration testing: a comparative study of manual execution, LLMs, and autonomous agent |
| Autor(es): | Chagas Júnior, Lucas Ferreira |
| Orientador(es): | Góis, Lourival Aparecido de |
| Palavras-chave: | Teste de invasão (Medidas de segurança para computadores) Inteligência artificial Aprendizado do computador Tecnologia da informação - Medidas de segurança Penetration testing (Computer security) Artificial intelligence Machine learning Information technology - Safety measures |
| Data do documento: | 10-Jun-2026 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Ponta Grossa |
| Citação: | CHAGAS JÚNIOR, Lucas Ferreira. Pentest assistido por inteligência artificial: um estudo comparativo entre execução manual, LLMs e agente autônomo. 2026. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2026. |
| Resumo: | O teste de penetração (pentest) é uma prática consolidada de avaliação de segurança, tradicionalmente conduzida de forma manual e dependente da experiência do analista. O avanço dos modelos de linguagem de grande porte e dos agentes autônomos levanta a questão de se essas ferramentas podem apoiar ou superar a execução manual, mas a literatura carece de estudos comparativos estruturados que avaliem, sob as mesmas condições, diferentes níveis de automação. Esta dissertação avalia a aplicabilidade de Inteligência Artificial em pentest por meio de um mapeamento sistemático da literatura e de experimentos práticos em ambiente controlado. O mapeamento, conduzido segundo Kitchenham e Charters (2007), identificou cinco estudos primários publicados entre 2019 e 2024. Os experimentos compararam três cenários sobre o Metasploitable 2: execução manual, execução assistida por modelos de linguagem via linha de comando com Claude Sonnet 4.6 e Gemini 2.5 Pro, e execução por agente autônomo via Claude Code CLI. Cinco métricas foram coletadas sistematicamente: tempo total, número de ações, profundidade PTES, cobertura de vetores e precisão das ações. Todos os cenários atingiram comprometimento completo com acesso root e 100% de cobertura de vetores. As diferenças concentraram-se na precisão: o cenário assistido por Claude obteve 85%, abaixo do manual (96,7%), por sugestões de payload incompatíveis com a arquitetura ARM64 do ambiente; o Gemini chegou a 96,5%; o agente autônomo foi o menos reprodutível, com comportamento não-determinístico entre execuções e precisão média aproximada de 78%. A hipótese de que a IA superaria o analista humano em pelo menos duas métricas não se confirmou de forma consistente. Os resultados indicam que modelos de linguagem de uso geral carecem de consciência do contexto técnico de execução e que agentes autônomos baseados em LLMs apresentam variabilidade inconsistente com a reprodutibilidade, propriedade fundamental em metodologias estruturadas de pentest. |
| Abstract: | Penetration testing (pentest) is a well-established security assessment practice, traditionally conducted manually and dependent on the analyst’s expertise. The advance of large language models and autonomous agents raises the question of whether these tools can support or surpass manual execution, yet the literature lacks structured comparative studies evaluating different levels of automation under the same conditions. This dissertation evaluates the applicability of Artificial Intelligence in penetration testing through a systematic literature mapping and practical experiments in a controlled environment. The mapping, conducted following Kitchenham and Charters (2007), identified five primary studies published between 2019 and 2024. The experiments compared three scenarios against Metasploitable 2: manual execution, LLM-assisted execution via command-line interface using Claude Sonnet 4.6 and Gemini 2.5 Pro, and autonomous agent execution via Claude Code CLI. Five metrics were systematically collected: total execution time, number of actions, PTES depth, vector coverage, and action precision. All scenarios achieved full root compromise and 100% vector coverage. Differences appeared in precision: the Claude-assisted scenario reached 85%, below the manual baseline of 96.7%, due to payload suggestions incompatible with the ARM64 architecture of the attacking machine; Gemini reached 96.5%; the autonomous agent exhibited non-deterministic behavior across runs and an average precision of approximately 78%, yielding the lowest degree of reproducibility among the evaluated scenarios. The hypothesis that AI would outperform the human analyst in at least two metrics was not consistently confirmed. The results indicate that general-purpose language models lack awareness of specific technical execution contexts, and that LLM-based autonomous agents still exhibit variability inconsistent with reproducibility, a fundamental property of structured penetration testing methodologies. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/40899 |
| Aparece nas coleções: | PG - Programa de Pós-Graduação em Ciência da Computação |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| pentestassisitidoia.pdf | 1,13 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
