Publicación:
Multicutural LLM Evaluation: The Case of Spanish as a Pluricentric Language

Vista sencilla de ítem
dc.contributor.authorGrandury González, María Aurora
dc.contributor.directorGonzalo Arroyo, Julio Antonio
dc.contributor.directorBosselut, Antoine
dc.date.accessioned2026-01-29T15:23:33Z
dc.date.available2026-01-29T15:23:33Z
dc.date.issued2025-09-21
dc.description.abstractEl español es una lengua pluricéntrica con más de 600 millones de hablantes y numerosas variedades regionales, pero la mayoría de las tecnologías del lenguaje lo tratan como una única lengua uniforme. Este trabajo estudia cómo los grandes modelos de lenguaje (LLM) reflejan esa diversidad y cómo debemos tenerla en cuenta al evaluarlos. Primero, repasamos el desarrollo del PLN en español y las iniciativas actuales que buscan servir al mundo hispanohablante. A continuación, analizamos las prácticas de evaluación estándar y mostramos por qué pueden dar una imagen incorrecta del rendimiento cuando se ignoran el contexto cultural y los usos regionales. Partiendo de esfuerzos abiertos de la comunidad, se presenta la primera leaderboard de código abierto para evaluar LLM en las lenguas de España, incluyendo resultados de 50 modelos de código abierto en 66 conjuntos de datos. El análisis muestra brechas tanto en competencia lingüística como en conocimiento cultural. Para mitigarlas, este trabajo presenta un conjunto de datos para evaluar el conocimiento de los LLM sobre las variedades del español y extiende un conjunto de datos multilingüe de conocimiento cultural para cubrir 17 países hispanohablantes. Los resultados muestran que los modelos a menudo favorecen ciertas variedades y tienen dificultades con el léxico y la morfosintaxis, a la vez que motivan la anotación por países de los conjuntos de datos. Por último, este trabajo propone próximos pasos concretos: un marco de recolección de datos impulsado por la comunidad, centrado en la inclusión y la representación justa, una tarea de evaluación compartida para la identificación de variedades del español y un taller para catalizar la creación de recursos diversos. Estas contribuciones ofrecen herramientas prácticas y evidencia para que la evaluación de los LLM en español sea más fiel a su riqueza lingüística y cultural.es
dc.description.abstractSpanish is a pluricentric language with more than 600 million speakers and many regional varieties, yet most language technologies treat it as a single, uniform language. This thesis studies how large language models (LLMs) reflect this diversity and how we should consider it when evaluating them. First, it surveys the development of Spanish NLP and current initiatives that aim to serve the Spanish-speaking world. It then analyzes standard evaluation practices and shows why they can misrepresent performance when cultural context and regional usage are ignored. Building on open community efforts, the work introduces the first open-source leaderboard for the languages of Spain and reports results for 50 opensource models across 66 datasets. The analysis hints at gaps in both linguistic proficiency and cultural knowledge. To address these gaps, the thesis presents a benchmark for assessing knowledge about Spanish varieties and extends a multilingual cultural knowledge benchmark to cover 17 Spanish-speaking countries. The results show that models often favor certain varieties and struggle with region-specific lexicon and morphosyntax, while motivating the need for country-labeled benchmarks. Finally, the thesis outlines concrete next steps: a community-driven data collection framework focused on inclusivity and fair representation, a shared task for Spanish variety identification, and a workshop to catalyze the creation of diverse resources. Together, these contributions provide practical tools and evidence to make the evaluation of LLMs in Spanish more faithful to its linguistic and cultural richness.en
dc.description.provenanceMade available in DSpace on 2026-01-29T15:23:33Z (GMT). No. of bitstreams: 1 Multicutural LLM Evaluation The Case of Spanish as a Pluricentric Language. María Aurora Grandury González.pdf: 307098 bytes, checksum: 31d06e44da10f8f2239af432b2f0bca3 (MD5) Previous issue date: 2025-09-21en
dc.identifier.citationGrandury González, María Aurora. Trabajo de fin Máster: "Multicutural LLM Evaluation: The Case of Spanish as a Pluricentric Language". Universidad Nacional de Educación a Distancia (UNED), 2025
dc.identifier.urihttps://hdl.handle.net/20.500.14468/31642
dc.language.isoen
dc.relation.centerE.T.S. de Ingeniería Informática
dc.relation.degreeMáster Universitario en Tecnologías del Lenguaje
dc.relation.departmentLenguajes y Sistemas Informáticos
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
dc.subject5701 Lingüística aplicada
dc.subject.keywordsEvaluación de LLMses
dc.subject.keywordsPLN Multilingüees
dc.subject.keywordsPLN Culturales
dc.subject.keywordsLLM Evaluationen
dc.subject.keywordsMultilingual LLMen
dc.subject.keywordsCultural NLPen
dc.titleMulticutural LLM Evaluation: The Case of Spanish as a Pluricentric Languageen
dc.typetesis de maestríaes
dc.typemaster thesisen
dspace.entity.typePublication
relation.isAuthorOfPublication7c02d964-be10-43fa-a871-57831dd57926
relation.isAuthorOfPublication.latestForDiscovery7c02d964-be10-43fa-a871-57831dd57926
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
Multicutural LLM Evaluation The Case of Spanish as a Pluricentric Language. María Aurora Grandury González.pdf
Tamaño:
11.79 MB
Formato:
Adobe Portable Document Format
Descargar
Bloque de licencias
Mostrando 1 - 1 de 1
No hay miniatura disponible
Nombre:
license.txt
Tamaño:
3.62 KB
Formato:
Item-specific license agreed to upon submission
Descripción:
Descargar
Colecciones
Trabajos de fin de máster (TFM)