Use este identificador para citar ou linkar para este item: http://repositorio.utfpr.edu.br/jspui/handle/1/35440
Título: Um estudo no uso de feedbacks para mudanças de estados afetivos do estudante usando eletroencefalograma e expressões faciais
Título(s) alternativo(s): A study on the use of feedback for changes in student affective states using electroencephalogram and facial expressions
Autor(es): Oliveira, Wellton Costa de
Orientador(es): Pimentel, Andrey Ricardo
Palavras-chave: Sistemas tutoriais inteligentes
Emoções
Eletroencefalografia
Expressão facial
Interface cérebro-computador
Intelligent tutoring systems
Emotions
Electroencephalography
Facial expression
Brain-computer interfaces
Data do documento: 7-Nov-2022
Editor: Universidade Federal do Paraná
Câmpus: Francisco Beltrao
Citação: OLIVEIRA, Wellton Costa de. Um estudo no uso de feedbacks para mudanças de estados afetivos do estudante usando eletroencefalograma e expressões faciais. 2022. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Paraná, Curitiba, 2022.
Resumo: O estado afetivo é um dos fatores mais importantes quando se trata de motivação do estudante. Estudos apontam que emoções positivos contribuem para a aprendizagem, enquanto que emoções negativam dificultam. O papel dos feedbacks é importante, principalmente quando é direcionado e adaptado ao estudante, e podem ser feedbacks pós-processo, que são fornecidos depois da resposta, ou feedbacks em processo, que são apresentados antes da finalização da questão. Porém, no contexto educacional, o fator afetivo é pouco utilizado por diversos fatores, tais como a desproporcionalidade entre o número de alunos e o número de docentes, dificultando a identificação do estado afetivo individual, ou o fato da dificuldade na adaptação do conteúdo e dos feedbacks de acordo com cada variação de emoção individual. Uma possibilidade que pode auxiliar nessas tarefas é utilizar o contexto computacional para registrar e reconhecer os estados afetivos do estudante de acordo com suas expressões da face e também da atividade neural via Eletroencefalograma (EEG) e com isso, adaptar feedbacks utilizando Sistemas Tutores Inteligentes (ITS) de acordo com estas mudanças afetivas. Este trabalho apresenta um estudo no uso de feedbacks em processo para análise de mudanças afetivas. Para isso, uma abordagem modular chamada NeurAFFeed foi elaborada, realizando a coleta, análise e armazenamento de estados afetivos do estudante, enquanto resolve questões de linguagem de programação em um Ambiente Virtual de Aprendizagem (AVA), através de dados da face usando uma webcam e dados de EEG através de uma interface cérebro-computador (BCI, do inglês, Brain-Computer Interface) de baixo custo chamada OpenBCI, para que um módulo afetivo para STI faça a observação de tais estados e decida exibir ou não feedbacks em processo, que serão apresentados ao estudante na forma de notificações em um AVA. O experimento utilizou a abordagem NeurAFFeed em um grupo de vinte estudantes, sendo metade o Grupo Controle (GC), sem apresentação de feedbacks, e a outra metade o Grupo Experimental (GE), com exibição de feedbacks. A análise dos dados demonstrou que houve uma diferença significativa entre o GC e o GE, ocorrendo um aumento de 14,9% nas mudanças dos estados afetivos para quadrantes preferíveis nos dados de faces e um aumento de 12,5% para dados de EEG. Também foi evidenciado a possibilidade de elaboração de rankings dos melhores feedbacks de acordo com os dados de face e EEG. A análise dos resultados sinaliza que a abordagem NeurAFFeed permite a realização de estudos que usam feedbacks em processo para verificação de mudanças afetivas com dados de face e de EEG coletados com aparelhos não-clínicos e de baixo custo como webcam e OpenBCI, respectivamente. Este trabalho contribui com a possibilidade da utilização de sua abordagem para novos estudos nas áreas de STI afetivo, feedbacks em processo e análise acessível de atividade neural.
Abstract: The affective state is one of the most important factors when it comes to student motivation. Studies show that positive emotions contribute to learning, while negative emotions make it difficult. The role of feedback is important, especially when it is directed and adapted to the student, and can be post-process feedback, which is provided after the answer, or in-process feedback, which is presented before the finalization of the question. However, in the educational context, the affective factor is rarely used due to several factors, such as the disproportionality between the number of students and the number of teachers, making it difficult to identify the individual affective state, or the fact that it is difficult to adapt the content and feedbacks according to each individual emotion variation. A possibility that can help in these tasks is to use the computational context to record and recognize the student’s affective states according to their facial expressions and also the neural activity via Electroencephalogram (EEG) and with that, adapt feedbacks using Intelligent Tutoring Systems (ITS) according to these changes affective. This work presents a study on the use of process feedbacks to analyze affective changes. For this, a modular approach called NeurAFFeed was elaborated, performing the collection, analysis and storage of the student’s affective states, while solving programming language issues in a Virtual Learning Environment (VLE), through face data using a webcam and EEG data through a low-cost Brain-Computer interface (BCI) called OpenBCI, so that an affective module for ITS observes such states and decides whether or not to display feedbacks in process, which will be presented to the student in the form of notifications on a VLE. The experiment used the NeurAFFeed approach in a group of twenty students, half being the Control Group (GC), without feedback, and the other half being the Experimental Group (EG), with feedback. Data analysis showed that there was a significant difference between the CG and the EG, with an increase of 14.9% in changes from affective states to preferable quadrants in face data and an increase of 12.5% for EEG data. The possibility of developing rankings of the best feedbacks according to face and EEG data was also evidenced. The analysis of the results indicates that the NeurAFFeed approach allows the realization of studies that use in-process feedbacks to verify affective changes with face and EEG data collected with non-clinical and low-cost devices such as webcam and OpenBCI, respectively. This work contributes with the possibility of using his approach for new studies in the areas of affective ITS, in-process feedbacks and accessible analysis of neural activity.
URI: http://repositorio.utfpr.edu.br/jspui/handle/1/35440
Aparece nas coleções:PCS - Teses

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
afetivoseletroencefalogramaexpressoesfaciais.pdf20,69 MBAdobe PDFThumbnail
Visualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.