Persona:
Ruiz García, Víctor

Foto de perfil
Dirección de correo electrónico
ORCID
Fecha de nacimiento
Proyectos de investigación
Unidades organizativas
Puesto de trabajo
Apellidos
Ruiz García
Nombre de pila
Víctor
Nombre

Filtros

20251
Restablecer filtros

Ajustes

Resultados de la búsqueda

Mostrando 1 - 1 de 1
  • Miniatura
    Publicación
    Dataset y Sistemas Basados en Niveles de Acuerdo para la Detección de Sexismo en Tuits y Memes
    (2025-03-13) Ruiz García, Víctor; Albornoz Cuadrado, Jorge Carrillo de; Plaza Morales, Laura
    La experiencia de las mujeres en redes sociales se ve afectada negativamente por la publicación y difusión masiva de contenido sexista. Esta tendencia repercute en la salud mental de las mujeres, así como la aceptación de actitudes y discursos sexistas. La propagación de las ideas sexistas no solo se realiza a través de mensajes de texto, sino también por medio de imágenes y memes. En este contexto, la detección de sexismo en redes sociales se plantea como un problema de detección multimedia. Para ello, nuestro trabajo presenta la detección en dos tipos de formato: tuits, mensajes puramente textuales, y memes, mensajes que combinan texto e imagen. Este trabajo se enmarca en la competición EXIST 2024, una de las tareas competitivas organizadas en el congreso CLEF 2024, que tiene como meta la detección y caracterización del sexismo en espectro amplio. Además, la competición promueve la implementación de técnicas de Learning With Disagreement, un nuevo paradigma de anotación de corpora que defiende que todos los procesos de anotación muestran desacuerdos y, por tanto, hay que trabajar con un gold standard que no se obtenga mediante la agregación de etiquetas. En este trabajo se describe el proceso de creación del dataset de memes de EXIST 2024. Primero se explican las tareas de la competición: identificación de sexismo, categorización de intención del emisor y clasificación en tipos de sexismo. Definimos qué consideramos como meme, y explicamos la concepción de la lista de términos semilla, la descarga de los memes y posterior filtrado manual, así como la extracción de cada texto. Este dataset está formado por 5000 memes en dos idiomas: inglés y en español. Cada meme ha sido etiquetado por seis anotadores distintos, cada uno perteneciente a un grupo demográfico, que denominamos cohorte, determinado por su género (hombres y mujeres) y edad (de 18 a 22 años, de 23 a 45 años y mayores de 46 años). Por último, se analizan los resultados de la anotación de las instancias por tarea y cohorte. Para la detección automática de sexismo se han diseñado sistemas textuales para la identificación y categorización de la intención del emisor en tuits y memes. Nuestro objetivo es desarrollar sistemas entrenados con todas las anotaciones y que generen como salida soft labels, etiquetas formadas por la probabilidad de cada clase, y hard labels, etiquetas únicas agregadas. Los sistemas presentados aprovechan el desacuerdo para realizar predicciones en cascada por medio de dos sistemas: uno más sencillo que determina los casos más claros, y un sistema más complejo, entrenado con más información o que hace uso de un ensemble de modelos que caracterizan cada cohorte por separado. El sistema más sencillo determina las soft labels de las instancias, del que se obtiene el nivel de acuerdo predicho. Si en una instancia el nivel de acuerdo supera un nivel de acuerdo umbral, las predicciones de dicha instancia se dan por válidas, si no, el segundo sistema predice las etiquetas de dicha instancia. Estos sistemas se evalúan para cada tarea en un dataset de validación y se discute su efectividad. Los sistemas en cascada han resultado superiores en la identificación de memes, donde los ensembles de caracterización de las cohortes han obtenido resultados superiores en la determinación de desacuerdos. Algunos de los sistemas fueron seleccionados para participar en la competición de EXIST 2024. En la competición, nuestros sistemas destacan en la detección de sexismo en memes, tanto en la tarea de identificación del sexismo, donde dos de los tres sistemas presentados han logrado la 1ª y 2ª posición en el ránking de la evaluación soft-soft, como en la categorización de la intención del emisor en memes, donde en las evaluaciones hard-hard y soft-soft uno de nuestros dos sistemas ha logrado la 1ª posición.