Cargando...
Fecha
2025-09-21
Derechos de acceso
info:eu-repo/semantics/openAccess
Título de la revista
ISSN de la revista
Título del volumen
Editorial
Citas
Resumen
El español es una lengua pluricéntrica con más de 600 millones de hablantes y numerosas variedades regionales, pero la mayoría de las tecnologías del lenguaje lo tratan como una única lengua uniforme. Este trabajo estudia cómo los grandes modelos de lenguaje (LLM) reflejan esa diversidad y cómo debemos tenerla en cuenta al evaluarlos. Primero, repasamos el desarrollo del PLN en español y las iniciativas actuales que buscan servir al mundo hispanohablante. A continuación, analizamos las prácticas de evaluación estándar y mostramos por qué pueden dar una imagen incorrecta del rendimiento cuando se ignoran el contexto cultural y los usos regionales. Partiendo de esfuerzos abiertos de la comunidad, se presenta la primera leaderboard de código abierto para evaluar LLM en las lenguas de España, incluyendo resultados de 50 modelos de código abierto en 66 conjuntos de datos. El análisis muestra brechas tanto en competencia lingüística como en conocimiento cultural. Para mitigarlas, este trabajo presenta un conjunto de datos para evaluar el conocimiento de los LLM sobre las variedades del español y extiende un conjunto de datos multilingüe de conocimiento cultural para cubrir 17 países hispanohablantes. Los resultados muestran que los modelos a menudo favorecen ciertas variedades y tienen dificultades con el léxico y la morfosintaxis, a la vez que motivan la anotación por países de los conjuntos de datos. Por último, este trabajo propone próximos pasos concretos: un marco de recolección de datos impulsado por la comunidad, centrado en la inclusión y la representación justa, una tarea de evaluación compartida para la identificación de variedades del español y un taller para catalizar la creación de recursos diversos. Estas contribuciones ofrecen herramientas prácticas y evidencia para que la evaluación de los LLM en español sea más fiel a su riqueza lingüística y cultural.
Spanish is a pluricentric language with more than 600 million speakers and many regional varieties, yet most language technologies treat it as a single, uniform language. This thesis studies how large language models (LLMs) reflect this diversity and how we should consider it when evaluating them. First, it surveys the development of Spanish NLP and current initiatives that aim to serve the Spanish-speaking world. It then analyzes standard evaluation practices and shows why they can misrepresent performance when cultural context and regional usage are ignored. Building on open community efforts, the work introduces the first open-source leaderboard for the languages of Spain and reports results for 50 opensource models across 66 datasets. The analysis hints at gaps in both linguistic proficiency and cultural knowledge. To address these gaps, the thesis presents a benchmark for assessing knowledge about Spanish varieties and extends a multilingual cultural knowledge benchmark to cover 17 Spanish-speaking countries. The results show that models often favor certain varieties and struggle with region-specific lexicon and morphosyntax, while motivating the need for country-labeled benchmarks. Finally, the thesis outlines concrete next steps: a community-driven data collection framework focused on inclusivity and fair representation, a shared task for Spanish variety identification, and a workshop to catalyze the creation of diverse resources. Together, these contributions provide practical tools and evidence to make the evaluation of LLMs in Spanish more faithful to its linguistic and cultural richness.
Spanish is a pluricentric language with more than 600 million speakers and many regional varieties, yet most language technologies treat it as a single, uniform language. This thesis studies how large language models (LLMs) reflect this diversity and how we should consider it when evaluating them. First, it surveys the development of Spanish NLP and current initiatives that aim to serve the Spanish-speaking world. It then analyzes standard evaluation practices and shows why they can misrepresent performance when cultural context and regional usage are ignored. Building on open community efforts, the work introduces the first open-source leaderboard for the languages of Spain and reports results for 50 opensource models across 66 datasets. The analysis hints at gaps in both linguistic proficiency and cultural knowledge. To address these gaps, the thesis presents a benchmark for assessing knowledge about Spanish varieties and extends a multilingual cultural knowledge benchmark to cover 17 Spanish-speaking countries. The results show that models often favor certain varieties and struggle with region-specific lexicon and morphosyntax, while motivating the need for country-labeled benchmarks. Finally, the thesis outlines concrete next steps: a community-driven data collection framework focused on inclusivity and fair representation, a shared task for Spanish variety identification, and a workshop to catalyze the creation of diverse resources. Together, these contributions provide practical tools and evidence to make the evaluation of LLMs in Spanish more faithful to its linguistic and cultural richness.
Descripción
Categorías UNESCO
Palabras clave
Evaluación de LLMs, PLN Multilingüe, PLN Cultural, LLM Evaluation, Multilingual LLM, Cultural NLP
Citación
Grandury González, María Aurora. Trabajo de fin Máster: "Multicutural LLM Evaluation: The Case of Spanish as a Pluricentric Language". Universidad Nacional de Educación a Distancia (UNED), 2025
Centro
E.T.S. de Ingeniería Informática
Departamento
Lenguajes y Sistemas Informáticos