Persona:
Reyes Montesinos, Julio

Foto de perfil
Dirección de correo electrónico
jreyes@lsi.uned.es
ORCID
Fecha de nacimiento
Proyectos de investigación
Unidades organizativas
Puesto de trabajo
Apellidos
Reyes Montesinos
Nombre de pila
Julio
Nombre

Filtros

2022 - 20252
Restablecer filtros

Ajustes

Resultados de la búsqueda

Mostrando 1 - 2 de 2
  • Miniatura
    Publicación
    None of the above: Comparing Scenarios for Answerability Detection in Question Answering Systems
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2022-10-03) Reyes Montesinos, Julio; Rodrigo Yuste, Álvaro; Peñas Padilla, Anselmo
    El reciente salto cualitativo en el rendimiento de los sistemas de Búsqueda de Respuestas (QA) ha motivado en paralelo la aparición de un gran número de nuevos conjuntos de datos de QA creados para evaluar dichos sistemas. Sin embargo, no hay suficientes estudios acerca del abanico de fenómenos de razonamiento que ocurren en QA, lo cual permitiría una evaluación más completa de los sistemas de QA. Un fenómeno que no ha recibido suficiente atención es la habilidad de no responder. En la práctica, es importante que cuando un sistema de Búsqueda de Respuestas no está seguro, pueda decidir no ofrecer ninguna respuesta. Sin embargo, la mayoría de los conjuntos de datos de QA no incluyen preguntas sin respuesta y, si las incluyen, no especifican en qué proporción. Hasta la fecha, no hay ningún conjunto de datos o guía para su creación disponible que especifique la cantidad óptima de preguntas sin respuesta que un sistema de Búsqueda de Respuestas debería ver durante el entrenamiento. En este trabajo, proponemos una modificación del popular conjunto de datos de opción múltiple RACE que convierte algunas preguntas en preguntas sin respuesta, y analizamos qué proporción de preguntas sin respuesta podría ofrecer los mejores resultados durante el entrenamiento y la evaluación de un modelo BERT de base.
  • Miniatura
    Publicación
    None of the above: comparing scenarios for answerability detection in question answering systems
    (Springer, 2025-07-04) Reyes Montesinos, Julio; Rodrigo Yuste, Álvaro; Peñas Padilla, Anselmo
    Question Answering (QA) is often used to assess the reasoning capabilities of NLP systems. For a QA system, it is crucial to have the capability to determine answerability– whether the question can be answered with the information at hand. Previous works have studied answerability by including a fixed proportion of unanswerable questions in a collection without explaining the reasons for such proportion or the impact on systems’ results. Furthermore, they do not answer the question of whether systems learn to determine answerability. This work aims to answer that question, providing a systematic analysis of how unanswerable question ratios in training data impact QA systems. To that end, we create a series of versions of the well-known Multiple-Choice QA dataset RACE by modifying different amounts of questions to make them unanswerable, and then train and evaluate several Large Language Models on them. We show that LLMs tend to overfit the distribution of unanswerable questions encountered during training, while the ability to decide on answerability always comes at the expense of finding the answer when it exists. Our experiments also show that a proportion of unanswerable questions around 30%– as found in existing datasets– produces the most discriminating systems. We hope these findings offer useful guidelines for future dataset designers looking to address the problem of answerability.