Cargando...
Fecha
2024
Derechos de acceso
info:eu-repo/semantics/openAccess
Título de la revista
ISSN de la revista
Título del volumen
Editorial
Sociedad Española para el procesamiento del lenguaje natural
Citas
Resumen
The emergence of the Semantic Web has precipitated a proliferation of structured data manifested in the form of knowledge graphs, underscoring the imperative of natural language interfaces to enhance accessibility to these repositories of information. The capacity to articulate queries in natural language and subsequently retrieve data through SPARQL queries assumes paramount importance. In the present investigation, we have scrutinized the efficacy of in-context learning based on an agent-based architecture in facilitating the construction of SPARQL queries. Contrary to initial expectations, the augmentation of in-context learning prompts through agent-based mechanisms has been found to diminish the efficacy of Language Model-based Systems (LLMS), as it is perceived as extraneous "noise," thereby delineating the constraints inherent in this approach. The results highlight the need to delve deeper into the intricacies of model training and fine-tuning, focusing on the relational aspects of ontology schemas.
La irrupción de la Web Semántica ha precipitado una proliferación de datos estructurados manifestados en forma de grafos de conocimiento, subrayando la imperativa necesidad de interfaces de lenguaje natural para mejorar la accesibilidad a estos repositorios de información. La capacidad de articular consultas en lenguaje natural y posteriormente recuperar datos a través de consultas SPARQL asume una importancia primordial. En la presente investigación, hemos analizado la eficacia de la técnica de in-context learning usando una arquitectura basada en agentes para facilitar la construcción de consultas SPARQL. Contrariamente a las expectativas iniciales, se ha encontrado que la mejora del prompt de in-context learning a través de mecanismos basados en agentes disminuye la eficacia de los Sistemas Basados en Modelos de Lenguaje (LLMS), al ser percibidos como ”ruido” extrínseco, mostrando así las limitaciones inherentes de esta aproximación. Los resultados resaltan la necesidad de profundizar en las técnicas de entrenamiento y fine-tuning de modelos, centrándose en los aspectos relacionales de los esquemas de ontología.
La irrupción de la Web Semántica ha precipitado una proliferación de datos estructurados manifestados en forma de grafos de conocimiento, subrayando la imperativa necesidad de interfaces de lenguaje natural para mejorar la accesibilidad a estos repositorios de información. La capacidad de articular consultas en lenguaje natural y posteriormente recuperar datos a través de consultas SPARQL asume una importancia primordial. En la presente investigación, hemos analizado la eficacia de la técnica de in-context learning usando una arquitectura basada en agentes para facilitar la construcción de consultas SPARQL. Contrariamente a las expectativas iniciales, se ha encontrado que la mejora del prompt de in-context learning a través de mecanismos basados en agentes disminuye la eficacia de los Sistemas Basados en Modelos de Lenguaje (LLMS), al ser percibidos como ”ruido” extrínseco, mostrando así las limitaciones inherentes de esta aproximación. Los resultados resaltan la necesidad de profundizar en las técnicas de entrenamiento y fine-tuning de modelos, centrándose en los aspectos relacionales de los esquemas de ontología.
Descripción
This is an Accepted Manuscript of an article published by Sociedad Española para el Procesamiento del Lenguaje Natural in "Procesamiento del lenguaje natural, 73, 271-281, 2024. ISSN 1135-5948", available at: http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6616
Este es el manuscrito aceptado del artículo publicado por Sociedad Española para el Procesamiento del Lenguaje Natural en "Procesamiento del lenguaje natural, 73, 271-281, 2024. ISSN 1135-5948", disponible en línea: http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6616
Categorías UNESCO
Palabras clave
Knowledge Retrieval, SPARQL Queries, Prompt Engineering, Recuperación de información, Consultas SPARQL, Ingeniería de Prompts, Agentes
Citación
Ghajari Espinosa, A., Ros Muñoz, S., & Pérez, Á. (2024). Querying the Depths: Unveiling the Strengths and Struggles of Large Language Models in SPARQL Generation. Procesamiento del lenguaje natural, 73, 271-281. ISSN 1135-5948
Centro
E.T.S. de Ingeniería Informática
Departamento
Sistemas de Comunicación y Control