Examinando por Autor "Amigo Cabrera, Enrique"
Mostrando 1 - 16 de 16
Resultados por página
Opciones de ordenación
Publicación A comparison of extrinsic clustering evaluation metrics based on formal constraints(Springer, 2009-05-11) Artiles Picón, Javier ; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio AntonioThere is a wide set of evaluation metrics available to compare the quality of text clustering algorithms. In this article, we define a few intuitive formal constraints on such metrics which shed light on which aspects of the quality of a clustering are captured by different metric families. These formal constraints are validated in an experiment involving human assessments, and compared with other constraints proposed in the literature. Our analysis of a wide range of metrics shows that only BCubed satisfies all formal constraints. We also extend the analysis to the problem of overlapping clustering, where items can simultaneously belong to more than one cluster. As Bcubed cannot be directly applied to this task, we propose a modified version of Bcubed that avoids the problems found with other metrics.Publicación Análisis de reputación en redes sociales en ámbitos locales(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2019-09-01) Porras Gómez, Javier; Amigo Cabrera, EnriqueEl presente trabajo pretende estudiar diferentes criterios de búsqueda de términos de filtrado para la extracción y clasificación de mensajes en redes sociales pertenecientes a un mismo contexto político. En concreto se analizarán funciones de pesado, técnicas de análisis lingüístico y, finalmente, heurística Además, pretende analizar la calidad de los datos obtenidos al filtrar mensajes en redes sociales aplicando dichos términos y que, además, hayan sido geolocalización tomando como caso de estudio la ciudad de Talavera de la Reina (Toledo) en periodo pre-electoral municipal. Por tratarse de temática concreta y delimitada en un radio pequeño, la densidad de los datos termina siendo realmente baja, de manera que el uso de funciones de pesado y técnicas de análisis lingüístico terminan siendo ineficaces en la mayoría de los casos.Publicación Automatic Generation of Entity-Oriented Summaries for Reputation Management(Springer, 2020-04-01) Rodríguez Vidal, Javier; Verdejo, Julia; Carrillo de Albornoz Cuadrado, Jorge Amando; Amigo Cabrera, Enrique; Plaza Morales, Laura; Gonzalo Arroyo, Julio AntonioProducing online reputation summaries for an entity (company, brand, etc.) is a focused summarization task with a distinctive feature: issues that may affect the reputation of the entity take priority in the summary. In this paper we (i) present a new test collection of manually created (abstractive and extractive) reputation reports which summarize tweet streams for 31 companies in the banking and automobile domains; (ii) propose a novel methodology to evaluate summaries in the context of online reputation monitoring, which profits from an analogy between reputation reports and the problem of diversity in search; and (iii) provide empirical evidence that producing reputation reports is different from a standard summarization problem, and incorporating priority signals is essential to address the task effectively.Publicación Automatización de respuestas en canales digitales para centros de atención al cliente(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2017-03-06) Latorre Trabanco, Ángel; Amigo Cabrera, EnriqueEn este trabajo, asumiendo una serie de restricciones, estudiamos la viabilidad de automatizar este tipo de tareas básicas y repetitivas. Es decir, es viable construir un sistema que automáticamente puede determinar si un email recibido pertenece a una de las preguntas/respuestas habituales y emitir una respuesta precisa al cliente sin supervisión de un operador. Creemos que un sistema de este tipo podría tener un importante impacto en la reducción de carga de trabajo de estos centros y en consecuencia en los costes asociados. Es importante recalcar que hablamos de respuesta sin supervisión y no de automatización en la selección de plantilla. Esta última deja la decisión final de envío al operador garantizando una respuesta 100% correcta, sin embargo, la reducción en tiempo y costes es en la práctica inexistente dado que los operadores por norma sólo necesitan elegir una plantilla de un desplegable o una lista. La autentica reducción de costes proviene de evitar que los emails lleguen a los operadores. A lo largo del trabajo utilizaremos como escenario de estudio el servicio de atención al cliente vinculado al servicio de venta de entradas de Patrimonio Nacional. Un escenario que por nuestra vinculación laboral nos permite acceder en detalle a la información y operativa utilizada.Publicación Combining evaluation metrics via the unanimous improvement ratio and its application in weps clustering task(Association for the Advancement of Artificial Intelligence, 2011-12-01) Artiles Picón, Javier ; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio AntonioMany Artificial Intelligence tasks cannot be evaluated with a single quality criterion and some sort of weighted combination is needed to provide system rankings. A problem of weighted combination measures is that slight changes in the relative weights may produce substantial changes in the system rankings. This paper introduces the Unanimous Improvement Ratio (UIR), a measure that complements standard metric combination criteria (such as van Rijsbergen's F-measure) and indicates how robust the measured differences are to changes in the relative weights of the individual metrics. UIR is meant to elucidate whether a perceived difference between two systems is an artifact of how individual metrics are weighted. Besides discussing the theoretical foundations of UIR, this paper presents empirical results that confirm the validity and usefulness of the metric for the Text Clustering problem, where there is a tradeoff between precision and recall based metrics and results are particularly sensitive to the weighting scheme used to combine them. Remarkably, our experiments show that UIR can be used as a predictor of how well differences between systems measured on a given test bed will also hold in a different test bed.Publicación Cuantificación y Ensembles.(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial., 2022-09-01) Rodríguez Valles, Miguel; Amigo Cabrera, EnriqueEn este trabajo se pretende analizar la aplicación de las técnicas de Ensemble a los problemas de Cuantificación. La Cuantificación es una de las tareas que recientemente ha adquirido cierto protagonismo dentro de las diferentes problemáticas que aborda el denominado aprendizaje automático (o machine learning). En ella se busca determinar la distribución de una colección de clases en un conjunto sin etiquetar; con este fin se ha desarrollado una colección de técnicas específicas que se aglutinan dentro del término Cuantificación.Publicación Embedding Meaning Algebra into Distributional Semantics(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2023-09-24) Alonso Viñas, Carlos; Amigo Cabrera, Enrique; Fresno Fernández, Víctor DiegoThe field of distributional semantics has seen significant progress in recent years due to advancements in natural language processing techniques, particularly through the development of Neural Language Models like GPT and BERT. However, there are still challenges to overcome in terms of semantic representation, particularly in the lack of coherence and consistency in existing representation systems. This work introduces a framework defining the relationship between a probabilistic space, a set of meanings, and a vector space of static embedding representations; and establishes formal properties based on definitions that would be desirable for any distributional representation system to comply with in order to establish a common ground between distributional semantics and other approaches. This work also introduces an evaluation benchmark, defined on the basis of the formal properties introduced, which will allow to measure the quality of a representation system.Publicación Entity-based filtering and topic detection For online reputation monitoring in Twitter(Universidad Nacional de Educación a Distancia (España). Escuela Internacional de Doctorado. Programa de Doctorado en Sistemas Inteligentes, 2014-01-01) Spina Valentin, Damiano; Gonzalo Arroyo, Julio Antonio; Amigo Cabrera, EnriqueCon el crecimiento de los medios sociales de comunicación en línea como Twitter (el servicio más popular de microblogging), los usuarios y consumidores han pasado a tener el control de lo que se dice acerca de una entidad (p.e., una compañía, un personaje público o una marca) en la Web. Este fenómeno ha creado la necesidad de monitorizar la reputación de dichas entidades en línea. En este ámbito, es esperable un aumento de la demanda de software de minería de textos para la monitorización de la reputación en línea (en inglés, Online Reputation Monitoring): herramientas automáticas que ayudan a procesar, analizar y agregar grandes flujos de menciones acerca de una compañía, organización o personaje público. A pesar de la gran variedad de herramientas disponibles en el mercado, no existe aún un marco de evaluación estándar (es decir, un conjunto de tareas bien definidas, métricas de evaluación y colecciones reutilizables ampliamente aceptados) que permita abordar este problema desde un punto de vista científico. En un marco de esfuerzo colectivo para identificar y formalizar los principales desafíos en el proceso de gestión de reputación en Twitter, hemos participado en la definición de tareas de acceso a la información, así como en la creación de colecciones de test (utilizadas en las campañas de evaluación WePS-3, RepLab 2012 y RepLab 2013) y hemos estudiado en profundidad dos de los desafíos identificados: filtrado de contenido no relevante (¿está relacionado un tweet dado con la entidad de interés?), modelado como una tarea de clasificación binaria, y detección de temas (¿qué se dice de la entidad en un flujo de tweets dado?), donde los sistemas deben agrupar los tweets en función de los temas tratados. En comparación con otros estudios sobre Twitter, nuestro problema se encuentra en su cola larga: salvando algunas excepciones, el volumen de información relacionado con una entidad dada (organización o compañía) en un determinado intervalo de tiempo es varios órdenes de magnitud más pequeño que los trending topics de Twitter, aumentando así su complejidad respecto a la identificación de los temas más populares en Twitter. En esta tesis nos basamos en tres conceptos para proponer distintas aproximaciones para abordar estas dos tareas: el uso de términos clave filtro (filter keywords), el uso de recursos externos (como Wikipedia, páginas web representativas de la entidad, etc.) y el uso de datos de entrenamiento específicos de la entidad (cuando éstos estén disponibles). Nuestros experimentos revelan que la noción de términos clave filtro (palabras que indican una alta probabilidad de que el tweet en el que aparecen esté relacionado o no con la entidad de interés) puede eficazmente ser utilizada para resolver la tarea de filtrado. En concreto, (a) la especificidad de un término con respecto al flujo de tweets de la entidad es un rasgo útil para identificar términos clave; y (b) la asociación entre el término y la página de la entidad en Wikipedia es útil para distinguir entre términos filtro positivos y negativos, especialmente cuando se calcula su valor medio teniendo en cuenta los términos más co-ocurrentes. Además, estudiando la naturaleza de los términos filtro hemos llegado a la conclusión de que existe una brecha terminológica entre el vocabulario que caracteriza la entidad en Twitter y el vocabulario asociado a la entidad en su página principal, Wikipedia o en la Web en general. Por otro lado, hemos hallado que, cuando se dispone de material de entrenamiento para la entidad en cuestión , es más efectivo el uso de un simple clasificador basado en bolsa de palabras. Existiendo suficientes datos de entrenamiento (unos 700 tweets por entidad), estos clasificadores pueden ser utilizados eficazmente para resolver la tarea de filtrado. Además, pueden utilizarse con éxito en un escenario de aprendizaje activo (active learning), en el que el sistema va actualizando su modelo de clasificación en función del flujo de anotaciones realizadas por el experto de reputación durante el proceso de monitorización. En este contexto, seleccionado los tweets en los que el clasificador tiene menos confianza (muestreo basado en márgenes) como aquellos que deben ser etiquetados por el experto, el coste de crear el conjunto inicial de entrenamiento puede llegar a reducirse en un 90% sólo inspeccionando el 10% de los datos de test. A diferencia de otras tareas de Procesamiento del Lenguaje Natural, el muestreo basado en márgenes funciona mejor que un muestreo aleatorio. Con respecto a la tarea de detección de temas, hemos considerado principalmente dos estrategias: la primera, inspirada en la noción de palabras término filtro, consiste en agrupar términos como un paso intermedio para la agrupación de tweets. La segunda, más exitosa, se basa en aprender una función de similitud entre pares de tweets a partir de datos previamente anotados, utilizando tanto rasgos basados en contenido como el resto de señales proporcionadas por Twitter; luego se aplica un algoritmo de agrupación sobre la función de similitud aprendida previamente. Nuestros experimentos revelan que (a) las señales Twitter pueden usarse para mejorar el proceso de detección de temas con respecto a utilizar sólo señales basadas en contenido; (b) aprender una función de similitud a partir de datos previamente anotados es una forma flexible y eficiente de introducir supervisión en el proceso de detección de temas. El rendimiento de nuestro mejor sistema es sustancialmente mejor que las aproximaciones del estado del arte, y se acerca al grado de acuerdo entre anotadores en las anotaciones de detección de temas incluidas en la colección RepLab 2013 (a nuestro conocimiento, la colección más grande para la monitorización de la reputación en línea). Una inspección cualitativa de los datos muestra que existen dos tipos de temas detectados por los expertos de reputación: alertas o incidentes de reputación (que normalmente sobresalen en el tiempo) y temas organizacionales (que, en cambio, suelen ser estables en el tiempo). Junto con nuestra contribución para crear un marco estándar de evaluación para el estudio del problema de la monitorización de la reputación en línea desde una perspectiva científica, creemos que el resultado de nuestra investigación tiene implicaciones prácticas que pueden servir para beneficiar el desarrollo de herramientas semi-automáticas que asistan a los expertos en reputación en su trabajo diario de monitorización.Publicación EvALL: Open Access Evaluation for Information Access Systems(Association for Computing Machinery (ACM), 2017) Almagro Cádiz, Mario; Rodríguez Vidal, Javier; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Carrillo de Albornoz Cuadrado, Jorge Amando; Gonzalo Arroyo, Julio AntonioThe EvALL online evaluation service aims to provide a unified evaluation framework for Information Access systems that makes results completely comparable and publicly available for the whole research community. For researchers working on a given test collection, the framework allows to: (i) evaluate results in a way compliant with measurement theory and with state-of-the-art evaluation practices in the field; (ii) quantitatively and qualitatively compare their results with the state of the art; (iii) provide their results as reusable data to the scientific community; (iv) automatically generate evaluation figures and (low-level) interpretation of the results, both as a pdf report and as a latex source. For researchers running a challenge (a comparative evaluation campaign on shared data), the framework helps them to manage, store and evaluate submissions, and to preserve ground truth and system output data for future use by the research community. EvALL can be tested at http://evall.uned.es.Publicación Meaning aggregation functions(Universidad de Educación a Distancia (UNED), 2024-06-23) Lucas Pérez, Gadea; Amigo Cabrera, Enrique; Fresno Fernández, Víctor DiegoIn the contemporary landscape of artificial intelligence and computational linguistics, Natural Language Processing (NLP) systems play a crucial role in understanding, interpreting, and generating human language. This work addresses the significant challenge posed by the black-box nature of deep learning models and the complexity of natural language, particularly the issue of polysemy. To address this challenge, one promising avenue is the concept of semantic distributional representation, which maps texts into a multidimensional semantic space. This approach enhances the visibility and manipulability of linguistic representations. In this work we introduce two novel semantic functions, fspec(v1, v2) and fgen(v1, v2), designed to specialise and generalise the concepts encapsulated by word vectors, respectively. Our research involves defining these functions, characterising their properties, developing an evaluation benchmark, and conducting a comprehensive comparison of candidate functions. The results indicate that while the sum function is most effective for specialisation, polysemy remains a significant source of noise in both specialisation and generalisation tasks. We propose future research directions, including the exploration of multilingual datasets and more sophisticated models to handle polysemy. The advancements from this research hold practical implications for improving the accuracy and applicability of NLP systems in various domains.Publicación Método para la construcción automática de ontologías lingüísticas ligeras basadas en corpus temáticos.(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial, 2022-09-01) García Rabadán Gascón, Juan; Amigo Cabrera, EnriqueEn el trabajo que se presenta se pretende, como objetivo principal, el desarrollo, y posterior síntesis, de un método propuesto por el ponente que, a partir de un corpus temático bien escogido, una ontología lingüística general y otros recursos permita elaborar, para una determinada temática, unas ontologías lingüísticas ligeras representativas de dicha temática particularizando la Ontología Lingüística General. En pos de dicho objetivo se alcanzaron hitos constitutivos parciales como la extracción de los términos del corpus con una determinada estructura y su posterior paso a conceptos con otra determinada estructura; para ello se precisó de la ayuda de dicha ontología lingüística general así como del paradigma de las Reglas de Asociación. La elección de una y otra estructura fue encaminada a facilitar la selección adecuada de los conceptos mas representativos, asi como la desambiguación de la polisemia. Cada una de estas ontologías lingüísticas ligeras representa una relación. En particular, en este trabajo se sintetizaron relaciones de sinonimia, de hiperonimia y de coocurrencia.Publicación Métodos y herramientas para la evaluación de resúmenes automáticos mediante feedback humano(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2023) Colás Romanos, David Celestino; Cigarrán Recuero, Juan Manuel; Amigo Cabrera, EnriqueA medida que avanzan los modelos de lenguaje natural, el entrenamiento y la evaluaci ón de estos se ven limitados por las métricas y los datos empleados para tareas específicas. En el contexto de la generación automática de resúmenes, comúnmente se utilizan métricas tradicionales como ROUGE y BLEU, entre otras, pero estas podrían no capturar la verdadera esencia de la calidad del resumen. En este trabajo, se revisa la validez de dichas métricas en el contexto actual, empleando un dataset innovador de OpenAI, compuesto por comparaciones de resúmenes anotados con feedback humano. Se observa que los resúmenes automáticos a menudo superan la calidad de los resúmenes de referencia humanos, llegando a ser casi indistinguibles de estos. Mediante diversos experimentos, se explora tanto la eficacia de las métricas de evaluación tradicionales como el impacto de ciertos rasgos y características en la calidad percibida de un resumen. Este estudio ofrece tres contribuciones significativas: en primer lugar, proporciona una evaluación crítica de las métricas estándar en el contexto actual, subrayando la necesidad de adaptaciones continuas. En segundo lugar, pone de relieve la importancia del feedback humano y cómo este puede enriquecer el proceso de evaluación, brindando percepciones valiosas que las métricas tradicionales podrían no capturar. Finalmente, introduce y valida métricas y herramientas innovadoras, como aquellas basadas en la similitud semántica, y la herramienta ExplainSumm, que han demostrado su eficacia en distintos contextos. Se espera que este trabajo no solo desafíe las nociones convencionales en la evaluación de resúmenes automáticos, sino que también proponga una ruta hacia una evaluación más holística y matizada, capaz de representar de manera más fiable la calidad y utilidad de los resúmenes en la era contemporánea.Publicación MT Evaluation : human-like vs. human acceptable(2006-07-17) Giménez, Jesús; Màrquez, Lluís; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio AntonioWe present a comparative study on Machine Translation Evaluation according to two different criteria: Human Likeness and Human Acceptability. We provide empirical evidence that there is a relationship between these two kinds of evaluation: Human Likeness implies Human Acceptability but the reverse is not true. From the point of view of automatic evaluation this implies that metrics based on Human Likeness are more reliable for system tuning. Our results also show that current evaluation metrics are not always able to distinguish between automatic and human translations. In order to improve the descriptive power of current metrics we propose the use of additional syntax-based metrics, and metric combinations inside the QARLA Framework.Publicación The contribution of linguistic features to automatic machine translation evaluation(2009-08-02) Giménez, Jesús; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio AntonioA number of approaches to Automatic MT Evaluation based on deep linguistic knowledge have been suggested. However, n-gram based metrics are still today the dominant approach. The main reason is that the advantages of employing deeper linguistic information have not been clarified yet. In this work, we propose a novel approach for meta-evaluation of MT evaluation metrics, since correlation cofficient against human judges do not reveal details about the advantages and disadvantages of particular metrics. We then use this approach to investigate the benefits of introducing linguistic features into evaluation metrics. Overall, our experiments show that (i) both lexical and linguistic metrics present complementary advantages and (ii) combining both kinds of metrics yields the most robust metaevaluation performance.Publicación The Observational Representation Framework and its Implications in Document Similarity, Feature Aggregation and Ranking Fusion(Universidad Nacional de Educación a Distancia (España). Escuela Internacional de Doctorado. Programa de Doctorado en Sistemas Inteligentes, 2021) Giner Martínez, Fernando; Amigo Cabrera, EnriquePublicación Web people search(Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2009-10-09) Artiles Picón, Javier; Gonzalo Arroyo, Julio Antonio; Amigo Cabrera, EnriqueIn this thesis we have addressed the problem of name ambiguity while searching for people on the Web. At the beginning of our work, in 2004, there were very few research papers on this topic, and no commercial web search engine would provide this type of facility. For this reason, our research methodology initially focused on the design and organisation (together with Prof. Sekine from New York University) of a competitive evaluation campaign for Web People Search systems. Once the campaign had been run for two years, we used the standard test suites built to perform our own empirical studies on the nature and challenges of the task. The evaluation campaign, WePS, was organized in 2007 (as a SemEval 2007 task) and in 2009 (as a WWW 2009 workshop). WePS was crucial in the process to lay the foundations of a proper scientific study of the Web People Search problem. These were the main accomplishments: • Standardisation of the problem: now a majority of researchers focus on the problem as a search results mining task (clustering and information extraction), as it has been defined in WePS. • Creation of standard benchmarks for the task: since the first WePS campaign in 2007, the number of publications related to Web People Search has grown substantially, and most of them use the WePS test suites as a de-facto standard benchmark. As of summer 2009, there were already more than 70 research papers citing WePS overviews; this not only suggests that WePS has indeed become a standard reference for the task, but also that it has contributed to arouse the interest in this kind of research problems. • Design of evaluation metrics for the task: 1. We have performed a careful formal analysis of several extrinsic clustering evaluation metrics based on formal constraints, to conclude that BCubed metrics are the most suitable for the task. We have also extended the original BCubed definition to allow for overlapping clusters, which is a practical requirement of the task. Our results are general enough to be employed in other clustering tasks. 2. We have introduced a new metric combination function, Unanimous Improvement Ratio (UIR), which, unlike Van Rijsbergen’s F, does not require an a-priori weighting of metrics (in our case, BCubed Precision and Recall). In an extensive empirical study we have shown that UIR provides rich information to compare the performance of systems, which was impossible with previous existing metric combinations functions (most prominently F). Using the results of the WePS-2 campaign, we have shown that F and UIR provide complementary information and, altogether, constitute a powerful analytical tool to compare systems. Although we have tested UIR only in the context of our task, it could be potentially useful in any task where several evaluation metrics are needed to capture the quality of a system, as it happens in several Natural Language Processing problems. Using the test suites produced in the two WePS evaluation campaigns, we have then performed a number of empirical studies in order to enhance a better understanding and comprehension of both the nature of the task involved and the way to solve it: • First, we have studied the potential effects of using (interactive) query re- finements to perform the Web People Search task. We have discovered that, although in most occasions there is an expression that can be used as a nearperfect refinement to retrieve all and only those documents referring to an individual, the nature of these ideal refinements is unpredictable and very unlikely to be hypothesized by the user. This confirms the need for search results clustering, and also suggests that looking for an optimal refinement may be a strategy of automatic systems to accomplish the task (and one that has not been used by any participant in the WePS campaigns). • Second, we have studied the usefulness of linguistic (computationally intensive) features as compared to word n-grams and other cheap features to solve our clustering problem. Notably, named entities, which are the most popular feature immediately after bag-of-words approaches, does not seem to provide a direct competitive advantage to solve the task. We have reached this conclusion abstracting from a particular choice of Machine Learning and Text Clustering algorithms, by using a Maximal Pairwise Accuracy estimator introduced in this thesis. • As a side effect of our empirical study, we have built a system which, using the confidence of a binary classifier (whether two pages are coreferent or not) as a similarity metric between document pairs to feed a Hierarchical Agglomerative Clustering algorithm, provides the best results for the task known to us (F0.5 = 0.83 vs. 0.82 for the best WePS-2 system), without using computationally intensive linguistic features.