Examinando por Autor "Santos, Olga C."

Mostrando 1 - 20 de 20
  • Miniatura
    Publicación
    A methodological approach based on machine learning to generate a multimodal user’s affective state model in adaptive educational systems
    (Universidad Nacional de Educación a Distancia (España). Escuela Internacional de Doctorado. Programa de Doctorado en Sistemas Inteligentes, 2018-11-05) Salmerón Majadas, Sergio; González Boticario, Jesús; Santos, Olga C.
    En esta tesis doctoral se ha establecido un plan de investigación para explorar como llevar a cabo la detección de estados afectivos mediante el uso de técnicas de aprendizaje automático (a partir de un enfoque multimodal) y evaluar algunos de los puntos metodológicos afrontados en el diseño de dicha detección. Para ello, se han propuesto tres fases en la investigación: I) en la primera fase se lleva a cabo un análisis exploratorio sobre los distintos puntos metodológicos en la investigación dentro del campo de la detección del estado afectivo desde un punto de vista multimodal para poder llevar a cabo una infraestructura experimental inicial; II) una fase de transición para establecer un contexto de referencia para guiar el enfoque experimental de los primeros experimentos hacia un escenario más realista y III) una fase final en la que el enfoque metodológico propuesto es adaptado y evaluado en un escenario realista de aprendizaje, evaluando las nuevas variables metodológicas relacionadas con el enfoque propuesto (un experimento inter-sujeto basado en el entorno de aprendizaje realista). Durante los experimentos llevados a cabo, se han identificado tres dimensiones metodológicas (i.e. caracterización y etiquetado de los estados afectivos, procesado de datos y enfoque experimental) y diversas variables metodológicas incluidas en dichas dimensiones han sido evaluadas: las fuentes de datos a usar, diversos aspectos del etiquetado afectivo de los datos para entrenar los algoritmos de aprendizaje supervisado utilizados (desde el etiquetador hasta la forma en la que se discretizan los valores dimensionales recogidos), los algoritmos de minería de datos utilizados, algunas técnicas de preprocesado aplicadas antes de la generación de los modelos de minería de datos, etc. Además, inspirada en una práctica dentro del campo de affective computing con señales fisiológicas, se propone una forma de normalizar los datos de interacción en base a las habilidades de interacción de cada individuo. Este trabajo pretende, fundamentalmente, definir una metodología (llamada AMO-ML, siglas en inglés de MOdelado Affectivo basado en Aprendizaje Automático) para llevar a cabo predicción de estados afectivos mediante técnicas de aprendizaje automático sobre una combinación de diversas fuentes de datos. También se analizan diferentes aspectos metodológicos encontrados en el campo de la computación afectiva en tres experimentos. Además, la introducción del enfoque de normalización ofrece buenos resultados en la predicción de la valencia (una de las dimensiones a evaluar de los estados afectivos) de los participantes.
  • Miniatura
    Publicación
    AI-Powered Psychomotor Learning through basketball practice: Opportunities and Challenges
    (Springer Nature Switzerland, 2024-06-23) Portaz Collado, Miguel Ángel; Cabestrero Alonso, Raúl; Quirós Expósito, Pilar; Santos, Olga C.; Santoianni, Flavia; Giannini, Gianluca; Ciasullo, Alessandro
    This chapter delves into the dynamic landscape of systems designed for the human centered learning of motor skills, with a primary focus on their application in the context of basketball. As technology continues to advance, opportunities emerge for innovative solutions that enhance skill acquisition, performance analysis, and overall proficiency in sports. The opportunities presented by cutting-edge systems, such as sensor-based technologies, offer new dimensions for sport psychologist, coaches, athletes and learners alike. These systems can provide real-time feedback and personalized training regimens, revolutionizing the traditional approaches to skill development. Specifically within the realm of basketball, this chapter addresses how these technologies can enhance shooting skills by improving spatial agility, initial burst speed, and directional responsiveness. However, along with these opportunities come significant challenges, such as the adaptability of technology across diverse skill levels, the need for robust data security in performance analytics, and the potential over-reliance on technology to the detriment of fundamental coaching. Balancing the integration of technology with the human centered elements is crucial to ensure that these systems genuinely enhance the learning experience without diminishing the importance of hands-on coaching and the inherent nuances of the sport.
  • Miniatura
    Publicación
    Análisis de pulsera inteligente para la detección de estados afectivos mediante aprendizaje no supervisado sobre series temporales
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2022) Herráiz Montalvo, Carlos Ilia; Santos, Olga C.; Cabestrero Alonso, Raúl
    La utilización de relojes y pulseras inteligentes es una tendencia que cada día está más en auge. La presente memoria busca estudiar las posibilidades de estos dispositivos comerciales para identificar cambios en el estado afectivo durante la realización de la tareas de resolución problemas con el fin de evaluar su posible aplicabilidad al Marco Lógico Colaborativo. El proyecto aborda la construcción de una plataforma para la recogida de datos, el estudio comparativo de la aplicación a series temporales de diversos algoritmos de aprendizaje automático y la visualización de resultados en tiempo real. Dentro de la tarea de extracción de los datos se implementará una aplicación específica para el reloj inteligente que permitirá construir a partir de los datos disponibles de los sensores, un conjunto de datos mediante el uso de una API. En el análisis de los datos se aplicarán diferentes algoritmos de agrupamiento a las series temporales. Se estudiará la aplicación de algoritmos a las series temporales mediante cambios en la representación de los datos, así como otros algoritmos que procesan las series temporales directamente. Finalmente se realiza una implementación que permite realizar una actividad y en tiempo real extraer los datos, enviarlos a un algoritmo de agrupamiento y visualizar en todo momento la evolución de la experiencia. Cuando el algoritmo señala que hay una alteración, el resultado es mostrado en la pulsera, permitiendo al usuario recibir este dato como estímulo visual y táctil.
  • Miniatura
    Publicación
    Análisis funcional de redes cerebrales a través de nuevos paradigmas computacionales en Spiking Neural Networks
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2017-10-06) Manzano Patrón, José Pedro; Santos, Olga C.; Ayala Rodrigo, José Luis
    El análisis conjunto de datos cerebrales multimodal (EEG, MEG, fMRI, DTI) está llamado a ser una de las grandes estrategias de búsqueda de nuevos neuro-biomarcadores en la medicina personalizada y en los futuros avances del sector. Sin embargo, hoy en día deben tratarse por separado al no existir un marco común de análisis. Por otro lado, las técnicas clásicas de análisis de redes cerebrales empiezan a presentar serios problemas para estudiar las variaciones en los patrones espaciotemporales de actividad y conectividad funcional. Este trabajo propone un nuevo entorno computacional basado en conceptos de Inteligencia Artificial, como las Redes Neuronales Pulsantes, donde los distintos tipos de señales son codificados a un dominio común para su tratamiento: los spikes. Gracias a este nuevo sistema bio-inspirado, nuevas reglas de aprendizaje sinápticos como STDP pueden ser utilizadas para capturar los patrones espacio-temporales dinámicos en la conectividad anatómico-funcional del cerebro.
  • Miniatura
    Publicación
    Capturing, Modelling, Analyzing and providing Feedback in Martial Arts with Artificial Intelligence to support Psychomotor Learning Activities
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial., 2020-06-01) Casas Ortiz, Alberto; Santos, Olga C.
    This Master’s Thesis explores how Artificial Intelligence (IA) can assist in the learning of psychomotor activities, specifically the learning of a martial art, through the development of an AI-based application that executes in an Android device. Martial arts are an interesting domain for this because it encompasses most of the characteristics that can be found in other psychomotor activities. Different methods for capturing, modelling and analyzing human motion, as well as providing feedback to the user have been reviewed. In addition, another bibliographical review of 27 publications has been carried out to evaluate till what extend these methods have been already applied to martial arts. For this research work, inertial methods have been selected for capturing motion. In particular, the inertial sensors of an Android device have been used for capturing the execution of a set of movements of American Kenpo Karate from 20 volunteers. The captured data was then modeled, by segmenting and labelling the movements, and smoothing the time series using Exponentially Weighted Moving Averages. The resulting dataset, formed by 240 movements, was then used for training and comparing three neural network-based classifiers: FC-ANN, 1D-CNN and LSTM. Neural networks were selected because of their ability of learn complex functions and the fact that some neural network architectures have been created specifically for analyze time series. Further, the weights learned by a neural network can be transferred to other domains through the technique known as transfer learning. Obtained results suggest that LSTM is the type of neural network that can better classify the movements studied, obtaining an accuracy of 1.0 in the training set, and an accuracy of 0.94 in the testing set. For demonstrating that those methods can be applied, an AI-based real-time Android application has been developed. This application employs the studied methods, as well as a feedback strategy created using the results of a questionnaire carried out with the purpose of identifying the issues that online learning of a psychomotor activity can entails. The application has then been tested, generating a good impression in the users. Following the open science philosophy, all contributions are shared in the GitHub repository.
  • Miniatura
    Publicación
    Clasificación de niveles de experiencia de Aikido mediante segmentación de series temporales y algoritmos de aprendizaje supervisado
    (Universidad Nacional de Educación a Distancia (UNED). E.T.S. de Ingeniería Informática. Departamento de Inteligencia Artificial, 2025-02) Mazzuka Cassani, Stefano; Santos, Olga C.; Portaz Collado, Miguel Ángel
    El presente Trabajo Fin de Máster se centra en la clasificación del nivel de experiencia en Aikido mediante la segmentación de series temporales y el uso de algoritmos de aprendizaje supervisado. Para ello, se han empleado datos inerciales capturados a través de sensores, con el objetivo de evaluar la calidad de los movimientos realizados por los practicantes. En este estudio se ha desarrollado un sistema de clasificación supervisado que permite distinguir entre tres niveles de destreza (bajo, medio y alto), ampliando el enfoque previo que diferenciaba únicamente entre principiantes y expertos. La segmentación de las series temporales en fases específicas de los movimientos ha permitido un análisis más detallado del desempeño de los participantes, favoreciendo la detección de patrones diferenciadores en cada nivel de experiencia. Para ello, se han utilizado tres técnicas principales de aprendizaje supervisado: Regresión con Procesos Gaussianos (GPR), que permite manejar la incertidumbre en los datos. Redes Convolucionales Temporales (TCN), utilizadas para la clasificación de secuencias de datos inerciales. Gradient Boosted Decision Trees (GBDT), que optimizan la clasificación a través de un conjunto de árboles de decisión.
  • Miniatura
    Publicación
    Clasificación de operaciones de embalaje por parte de operarios para el OpenPack Challenge 2022
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2023) Pérez Roa, Enrique Manuel; Santos, Olga C.
    El Reconocimiento de la Actividad Humana (HAR, por sus siglas en inglés) es una disciplina dentro del aprendizaje automático que busca reconocer y clasificar actividades desempañadas por seres humanos utilizando para ello distintas fuentes de datos. El objetivo del Trabajo de Fin de Máster es desarrollar un modelo capaz de realizar Reconocimiento de la Actividad Humana en el marco del Open Pack Challenge 2022. OpenPack Challenge 2022 es una competición de reconocimiento de diez tipos distintos de actividades que se dan durante el proceso de embalaje por parte de operarios en un almacén. Los participantes que participan en la competición tratan de presentar el sistema que mejor realice la clasificación de cada una de estas actividades, que son una serie de movimientos que realizan los trabajadores en el desarrollo de su trabajo. La información acerca de cada uno de estos movimientos viene proporcionada por un conjunto de sensores (aceleración, temperatura, etc...) que los propios operarios portaban. Al final del proyecto, el resultado será un modelo que, tomando como entrada estos datos ordenados temporalmente, sea capaz de clasificar con un alto grado de precisión la clase (actividad) a la que pertenecen. A fecha de la realización del trabajo la competición ya ha finalizado, por lo que la realización del TFM servirá para comparar la solución desarrollada con las que alcanzaron mejor puntuación, y no para participar directamente.
  • Miniatura
    Publicación
    Desarrollo de un modelo de reconocimiento de acciones en procesos industriales
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2023-09) Fuente Casal, Javier de la; Santos, Olga C.
    El reconocimiento de acciones humanas ha sido una problemática de gran interés en las últimas décadas debido a su gran cantidad de aplicaciones. Entre ellas, la aplicación a entornos industriales, que hasta ahora había sido más limitada debido a las dificultades de recolección de datos, brinda grandes oportunidades en cuanto a un aumento de la trazabilidad, control de seguridad, de protocolo y rendimiento del operario. El conjunto de datos OpenPack ofrece gran cantidad de datos para clasificar acciones en ambientes industriales recogidos a partir de múltiples sensores en un entorno controlado y propone un concurso para desarrollar un sistema capaz de reconocer la acción realizada por un operario. En este trabajo se ha pretendido utilizar una serie de modelos combinados multimodales que procesan los datos de sensores inerciales y cámaras visibles para clasificar cada acción realizada por el operario alcanzando resultados equiparables a los del top de competidores que han participado en el concurso propuesto por los creadores del conjunto de datos. Para ello se han aprovechado las características de las redes neuronales convolucionales y redes neuronales recurrentes para datos provenientes de sensores incerciales y redes neuronales basadas en grafos para la etapa visual a través de estimación de pose con keypoints dados.
  • Miniatura
    Publicación
    Detección de emociones con pulsera inteligente Fitbit
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2022-09-26) Vallejo Luengo, Ernesto Pablo; Santos, Olga C.; Cabestrero Alonso, Raúl
    En el campo de la detección de emociones, las pulseras inteligentes o smartbands son un posible sustituto de dispositivos más especializados. Este proyecto estudia la capacidad de la pulsera comercial Fibit Sense de detectar emociones. Se diseñó un experimento en el que se inducían distintas emociones a los participantes mientras la pulsera registraba su frecuencia cardíaca. Los participantes debían además evaluar su propio estado emocional. Se aplicó una serie de transformaciones a los datos obtenidos y se extrajeron varias características. Se eligió el modelo de regresión lineal múltiple para intentar predecir las emociones a partir de las medidas realizadas. Tras realizar varias pruebas los modelos finales no consiguieron una buena precisión diferenciando entre estados emocionales. No se ha podido determinar si la pulsera Fitbit Sense puede usarse para detectar emociones.
  • Miniatura
    Publicación
    Exploración de patrones en series temporales de datos inerciales usando técnicas de segmentación no supervisada
    (Universidad Nacional de Educación a Distancia (UNED). E.T.S. de Ingeniería Informática. Departamento de Inteligencia Artificial, 2025-02) Ventura Farias, Irene Josefina; Santos, Olga C.; Portaz Collado, Miguel Ángel
    Este Trabajo de Fin de Máster (TFM) explora la aplicación de técnicas de segmentación no supervisada a series temporales de datos inerciales para el análisis de habilidades motoras en Aikido. El TFM se basa en investigaciones previas que emplearon métodos supervisados, buscando validar estos resultados con un enfoque exploratorio. El objetivo principal es identificar patrones y estructuras subyacentes en los datos sin necesidad de etiquetas predefinidas, diferenciándose de enfoques supervisados anteriores. La investigación busca validar si la segmentación no supervisada puede identificar segmentos significativos en series temporales de datos inerciales. Se analizan dos datasets: uno de golpes con espada (Bokken) (D1) y otro de desplazamientos de rodillas (Shikko) (D2). Se realiza una extracción de características tanto de los datos de los participantes, como las series temporales, con el fin de homogeneizar la información, utilizando descriptores estadísticos, temporales y espectrales, y se seleccionan las más relevantes con el modelo LASSO. Para ello se emplean datos de sensores inerciales, específicamente acelerómetros y giroscopios, para capturar movimientos tridimensionales. Los datos provienen de estudios previos de Portaz y Corbí, quienes utilizaron técnicas de clasificación supervisada. En este TFM, se implementan algoritmos como K-Means y K-Medoids. Estos algoritmos se seleccionaron por su capacidad para identificar transiciones y patrones en los datos sin etiquetas. El análisis compara los resultados de los algoritmos no supervisados con segmentaciones manuales y enfoques supervisados, para validar la efectividad de cada método en la clasificación de niveles de experiencia en Aikido, buscando validar y enriquecer estos resultados. Finalmente, se discuten las limitaciones y se proponen futuras líneas de investigación.
  • Miniatura
    Publicación
    Exploring cognitive models to augment explainability in Deep Knowledge Tracing
    (ACM Digital Library, 2023-06-13) Labra, Concha; Santos, Olga C.; https://orcid.org/0009-0004-3499-6106; https://orcid.org/0000-0002-9281-4209
    Adaptive learning systems allow a personalized adaptation based on the characteristics of the student. Tracing the progress of knowledge and skills during the learning process through cognitive models is essential so that these systems can make appropriate decisions when carrying out personalization. This is the objective of Knowledge Tracing, which studies how to infer a cognitive model from the answers given to a sequence of questions or exercises. The incorporation of Deep Learning techniques in this field has given rise to Deep Knowledge Tracing (DKT) which usually has excellent predictive outcomes. The problem is that this increase in accuracy comes with a lack of explainability since Deep Learning models can be considered black boxes from which it is difficult to build interpretations or explanations. By contrast, traditional Knowledge Tracing methods are based on underlying learning models and provide a solid basis for explainability. In this paper we describe an ongoing research to build DKT models with a good trade-off between accuracy and explainability. To this end, we propose to use a loss function based on a mixup approach where the ground truth is a mix between the dataset labels and the predictions of a surrogate explainable model. The approach has potential to improve, not only explainability through the use of the surrogate, but also accuracy thanks to regularization effects. We will validate the approach by exploring, for different cognitive models, the trade-off curve that is obtained by plotting accuracy against explainability for different mixup values.
  • Miniatura
    Publicación
    Exploring Pose Estimation with Computer Vision Processing to Model Psychomotor Performance in Karate Combats
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2022-09-01) Echeverria San Millán, Jon; Santos, Olga C.
    Technological advances enable the design of systems that interact more closely with hu-mans in a multitude of previously unsuspected fields. Martial arts are not outside the application of these techniques. From the point of view of the modeling of human movement in relation to the learning of complex motor skills, martial arts are of interest because they are articulated around a system of movements that are predefined, or at least, bounded, and governed by the laws of Physics. Their execution must be learned after continuous practice over time. Literature suggests that artifi-cial intelligence algorithms, such as those used for computer vision, can model the movements per-formed. Thus, they can be compared with a good execution as well as analyze their temporal evo-lution during learning. We are exploring the application of this approach to model psychomotor performance in karate combats (called kumites), which are characterized by the explosiveness of their movements. In addition, modeling psychomotor performance in a kumite requires the model-ing of the joint interaction of two participants, while most current research efforts in human move-ment computing focus on the modeling of movements performed individually. Thus, in this work, we explore how to apply a pose estimation algorithm to identify attack and defense movements performed by both karatekas in an ippon kihon kumite (a karate combat characterized by one-step conventional assault) and how to model their psychomotor performance. For this, we compare, us-ing an error threshold, the differences in the angles between the execution in the model (recorded in the dataset) and the current execution. These comparisons can decrease the error threshold along the evolution of the karatekas, thus allowing to measure the psychomotor learning progress. In ad-dition, postural identification of both karatekas during real kumites have also been made to confirm the viability of our proposal.
  • Miniatura
    Publicación
    FRAGILESS: videojuego 3D con adaptación dinámica de la dificultad para retrasar y/o disminuir el grado de fragilidad en personas mayores
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2018-10-24) Sáenz de Urturi, Zelai; Santos, Olga C.
    Según la Organización Mundial de la Salud (OMS), existen 605 millones de personas de más de 60 años en todo el mundo, y se prevé que esta cantidad aumentará durante las próximas décadas. En concreto, se estiman 1.200 millones de personas mayores para el año 2025 y además dos de cada tres vivirán en países en desarrollo El envejecimiento humano es un proceso propio que involucra la pérdida progresiva de las capacidades físicas y cognitivas, y es precisamente mantener la independencia funcional lo que ha sido y seguirá siendo una de las metas más ambiciosas de la geriatría. Sin embargo, existe una gran falta de información y conocimiento en relación con las personas mayores. En concreto, hay un sector de la población que se encuentra al borde del deterioro, justo en el límite, es lo que desde los años 70 se denomina anciano frágil. Desde entonces, muchas estrategias han sido planteadas con el objetivo de atender a este grupo de ancianos, pero lamentablemente, aún no se ha conseguido crear el marco conceptual del anciano frágil. Debido a la gran importancia que tiene el sector de la salud y con especial interés, el envejecimiento, FRAGILESS pretende aportar una nueva solución tecnológica basada en Inteligencia Artificial y orientada especialmente al colectivo de personas mayores con fragilidad. En concreto, FRAGILESS, es un sistema de rehabilitación desarrollado a través del ocio y que está al alcance de cualquier usuario, que tiene el objetivo de disminuir y/o retrasar su grado de fragilidad. Para ello, se han implementado ejercicios físicos en forma de juego, que han sido especificados por fisioterapeutas expertos y validado por usuarios, para conseguir un buen sistema de rehabilitación. Para saber qué ejercicios está realizando el usuario, el sistema incluye un sensor de movimiento para detectar todos y cada uno de los movimientos realizados. Además, la herramienta implementa ajustes dinámicos de dificultad (a través de la resolución de problemas de satisfacción de restricciones), con el objetivo de adaptar cada sesión a cada participante, de forma que no sea ni demasiado aburrida ni demasiado difícil, creando sesiones adaptadas e individualizadas y ofreciendo a todas las personas mayores una experiencia atractiva. Asimismo, FRAGILESS ha sido validado a través de un estudio realizado con ancianos institucionalizados durante un mes, obteniendo resultados muy similares en comparación con las personas mayores que realizan rehabilitación en el gimnasio. A pesar de haber obtenido buenos resultados, pueden añadirse numerosas mejoras a la herramienta, haciendo de esta un sistema mejorado que se adapte mejor al usuario.
  • Miniatura
    Publicación
    Impact of Physiological Signals Acquisition in the Emotional Support Provided in Learning Scenarios
    (MDPI, 2019-10-17) Uría Rivas, Raúl; Rodriguez Sanchez, Cristina; Santos, Olga C.; Vaquero, Joaquin; Jesus G. Boticario; González Boticario, Jesús; https://orcid.org/0000-0001-9243-2166; https://orcid.org/0000-0002-9281-4209; https://orcid.org/0000-0002-6976-0564
    Physiological sensors can be used to detect changes in the emotional state of users with affective computing. This has lately been applied in the educational domain, aimed to better support learners during the learning process. For this purpose, we have developed the AICARP (Ambient Intelligence Context-aware Affective Recommender Platform) infrastructure, which detects changes in the emotional state of the user and provides personalized multisensorial support to help manage the emotional state by taking advantage of ambient intelligence features. We have developed a third version of this infrastructure, AICARP.V3, which addresses several problems detected in the data acquisition stage of the second version, (i.e., intrusion of the pulse sensor, poor resolution and low signal to noise ratio in the galvanic skin response sensor and slow response time of the temperature sensor) and extends the capabilities to integrate new actuators. This improved incorporates a new acquisition platform (shield) called PhyAS (Physiological Acquisition Shield), which reduces the number of control units to only one, and supports both gathering physiological signals with better precision and delivering multisensory feedback with more flexibility, by means of new actuators that can be added/discarded on top of just that single shield. The improvements in the quality of the acquired signals allow better recognition of the emotional states. Thereof, AICARP.V3 gives a more accurate personalized emotional support to the user, based on a rule-based approach that triggers multisensorial feedback, if necessary. This represents progress in solving an open problem: develop systems that perform as effectively as a human expert in a complex task such as the recognition of emotional states
  • Miniatura
    Publicación
    A Machine Learning Approach to Leverage Individual Keyboard and Mouse Interaction Behavior From Multiple Users in Real-World Learning Scenarios
    (Browse Journals & Magazines, 2018) Salmeron Majadas, Sergio; Baker, Ryan S.; Santos, Olga C.; González Boticario, Jesús; https://orcid.org/0000-0002-0544-0887; https://orcid.org/0000-0002-3051-3232; https://orcid.org/0000-0002-9281-4209
    There is strong evidence that emotions influence the learning process. For this reason, we explore the relevance of individual and general mouse and keyboard interaction patterns in real-world settings while learners perform free text tasks. To this end, we have modeled users' mouse movements and keystroke dynamics with data mining techniques, building on previous related research and extending it in terms of some critical modeling issues that may have an impact on detection results. Inspired by practice in affective computing where physiological sensors are used, we argue for the creation of an interaction baseline model, as a reference point in the way how learners interact with the keyboard and mouse. To make the proposed affective model feasible, we have adopted a simplified 2-D self-labeling approach for labeling the users' affective state. Our approach to affect detection improves results when there is a small amount of data instances available and does not require additional affect-oriented tasks from the learners. Specifically, learners are only asked to self-reflect their emotional state after finishing the tasks and immediately selecting two values in the affect scale. The approach we have followed aims to distill two types of interaction patterns: 1) within-subject patterns (from a single participant) and 2) between-subject patterns (across all participants). Doing this, we aim to combine both the approaches as modeling factors, thus taking advantage of individual and general interaction patterns to predict affect.
  • Miniatura
    Publicación
    Sign Language Segmentation Using a Transformer-based Approach
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2022-09-01) Pérez Villegas, Luis Francisco; Santos, Olga C.
    Continuous Sign Language Recognition (CSLR), predicting the meaning of the signs in sign language sentences, is one of the current challenges in translation between sign and spoken languages, that would benefit people with hearing impairment. An important limitation of this research field is the lack of annotated datasets, which could be minimized with Sign Segmentation approaches by automating the costly task of manually annotating the beginning and ending of each sign. The goal of this paper is to study the performance of an architecture which combines I3D CNN extracted features with a transformer-based model called ASFormer which was created specifically for Action Segmentation task. In our approach ASFormer, instead of separating actions in motions is separating signs in a signed speech. Several ablation studies are performed, and it is shown that ASFormer is suitable for segmenting the signs, with a performance near the ones of the state-of-the-art models, confirming the promising benefits of using attention-based approaches in this field.
  • Miniatura
    Publicación
    Some insights into the impact of affective information when delivering feedback to students
    (Taylor and Francis Group, 2018-07-26) Cabestrero Alonso, Raúl; Quirós Expósito, Pilar; Santos, Olga C.; Salmeron Majadas, Sergio; Uría Rivas, Raúl; González Boticario, Jesús; Arnau, David; Arevalillo Herráez, Miguel; Ferri, Francesc J.
    The relation between affect-driven feedback and engagement on a given task has been largely investigated. This relation can be used to make personalised instructional decisions and/or modify the affect content within the feedback. However, although it is generally assumed that providing encouraging feedback to students should help them adopt a state of flow, there are instances where those messages might result counterproductive. In this paper, we present a case study with 48 secondary school students using an Intelligent Tutoring System for arithmetical word problem solving. This system, which makes some common assumptions on how to relate affective state with performance, takes into account subjective (user's affective state) and objective information (previous problem performance) to decide the upcoming difficulty levels and the type of affective feedback to be delivered. Surprisingly, results revealed that feedback was more effective when no emotional content was included, and lead to the conclusion that purely instructional and concise help messages are more important than the emotional reinforcement contained therein. This finding shows that this is still an open issue. Different settings present different constraints generating related compounding factors that affect obtained results. This research confirms that new approaches are required to determine when, how and where affect-driven feedback is needed. Affect-driven feedback, engagement and their mutual relation have been largely investigated. Student's interactions combined with their emotional state can be used to make personalised instructional decisions and/or modify the affect content within the feedback, aiming to entice engagement on the task. However, although it is generally assumed that providing encouraging feedback to the students should help them adopt a state of flow, there are instances where those encouraging messages might result counterproductive. In this paper, we analyze these issues in terms of a case study with 48 secondary school students using an Intelligent Tutoring System for arithmetical word problem solving. This system, which makes some common assumptions on how to relate affective state with performance, takes into account subjective (user's affective state) and objective (previous problem performance) information to decide the difficulty level of the next exercise and the type of affective feedback to be delivered. Surprisingly, findings revealed that feedback was more effective when no emotional content was included in the messages, and lead to the conclusion that purely instructional and concise help messages are more important than the emotional reinforcement contained therein. This finding, which coincides with related work, shows that this is still an open issue. Different settings present different constraints and there are related compounding factors that affect obtained results, such as the message's contents and their target, how to measure the effect of the message on engagement through affective variables considering other issues involved, and to what extent engagement can be manipulated solely in terms of affective feedback. The contribution here is that this research confirms that new approaches are needed to determine when, how and where affect-driven feedback is needed. In particular, based on our previous experience in developing educational recommender systems, we suggest the combination of user-centred design methodologies with data mining methods to yield a more effective feedback.
  • Miniatura
    Publicación
    Soporte a la adaptación en tiempo de diseño mediante especificaciones IMSQTI e IMSLD en la plataforma de gestión de aprendizaje dotLRN
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial., 2008-09) Morales Puerta, Javier; González Boticario, Jesús; Santos, Olga C.
    Los cambios que está provocando el imparable auge del uso de Internet en el mundo globalizado de hoy en día hacen que multitud de ámbitos de la vida cotidiana estén cambiando continuamente y la enseñanza tradicional es uno de ellos. Desde la creación de lo que hoy se conoce como Internet se vienen desarrollando sistemas que tratan de aprovechar la multitud de ventajas que ofrecen las denominadas Tecnologías de la Información y las Comunicaciones (TIC). En concreto, el uso de las TIC en el campo de la enseñanza está consiguiendo en los últimos años que la educación a distancia sea una realidad. El desarrollo de cualquier sistema de enseñanza en línea es largo y complejo ya que está compuesto de multitud de componentes que se deben unir de forma perfecta, para que todo funcione correctamente.
  • Miniatura
    Publicación
    A Time-Aware Approach to Detect Help-Seeking Behaviour from Student-Platform Interaction
    (Universidad de Educación a Distancia (UNED), 2023-09) Horta Bartomeu, Raquel; Santos, Olga C.; Arevalillo Herráez, Miguel
    Seeking help when needed is a crucial skill, especially in unsupervised learning scenarios. It is known that some students do not ask for assistance when they need it, which can lead to counterproductive learning sessions. This work addresses the challenge of detecting help-seeking behaviour by learning from student-platform interaction events using deep learning models. This is the first work to predict help-seeking by considering the temporal nature of student behaviour while being independent of the topic being taught and the task at hand. We depict student-platform interaction as sequences of actions and evaluate five distinct approaches alongside various data representation techniques. Our research yields a model for detecting help-seeking behaviour solely from action sequences. We hypothesise that this approach has the potential for further improvement, especially when combined with pedagogical data and personalised features. Furthermore, we introduce a novel knowledge representation technique for categorical sequence analysis.
  • Miniatura
    Publicación
    White Matter Hyperintensities Segmentation with Prototype Learning
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial., 2020-10-06) Alarcón Palomar, Óscar; Santos, Olga C.
    This paper proposes a new method -based on meta-learning- for the WMH Segmentation Challenge, organized by UMC Utrecht, VU Amsterdam, and NUHS Singapore hospitals. The purpose of this challenge is to compare methods for the semantic segmentation of white matter hyperintensities (WMH), which are brain white matter lesions, of presumably vascular origin in brain imaging obtained with magnetic resonance. White matter hyperintensities are found in patients with brain diseases like Parkinson, Alzheimer or stroke. Semantic segmentation refers to the process of linking each pixel in an image to a class label. The semantic segmentation of images has had a great advance with convolution neural networks, but they require a large number of images to be able to obtain good results. Convolutional neural networks are a type of neural networks specialized on images which architecture is similar to neurons’ pattern in human brain and they were inspired by the organization of the visual cortex. With the aim to reduce the number of images required in training, in this work, we propose the use of meta-learning algorithms, in particular prototype learning, to do this semantic segmentation. In addition, this approach also allows the network to be used in a different task for which it was not trained, which can improve its potential use. Results obtained suggest that it could be possible to use the network trained to a specific task (i.e., detect WMH in the brain), to another task (i.e. detect any kind of tumors in the brain).