Publicación:
Arquitectura lambda aplicada a clustering de documentos en contextos Big Data

Vista sencilla de ítem
dc.contributor.authorVallejo Martínez, Alberto
dc.contributor.directorMartínez Unanue, Raquel
dc.contributor.directorRodrigo Yuste, Álvaro
dc.date.accessioned2024-05-20T12:36:18Z
dc.date.available2024-05-20T12:36:18Z
dc.date.issued2015-10-01
dc.description.abstractLa aplicación de técnicas de minería de datos, concretamente de clustering, sobre grandes volúmenes de datos (Big Data) supone un desafío en cuanto a la escalabilidad y al tiempo de respuesta, ya que cantidades crecientes de datos implican tiempos mayores de computación. La arquitectura lambda es un conjunto de recomendaciones de propósito general para diseñar una arquitectura en escenarios Big Data de forma que se resuelva el problema de la latencia y se puedan obtener resultados en tiempo real. En este trabajo se presenta un estudio aplicando la arquitectura lambda sobre el clustering de documentos en contextos Big Data. La problemática que se desea resolver es la elevada latencia que tiene lugar cuando se introducen nuevos documentos en el sistema que realiza clustering. Uno de los puntos clave sugeridos por esta arquitectura es la separación del procesamiento en tres capas: batch layer, speed layer y serving layer. Una problemática adicional al tratar documentos es su elevada dimensionalidad y este problema se soslaya mediante reducción de dimensionalidad con Latent Dirichlet Allocation. Los experimentos se han llevado a cabo utilizando el framework Apache Spark y demuestran que esta combinación de capas permite realizar clustering sobre grandes volúmenes de datos y disponer de resultados actualizados en tiempo real, con calidad del clustering comparable a trabajos similares sobre contextos no Big Data.es
dc.description.abstractThe application of data mining techniques, specifically clustering on large volumes of data (such as Big Data), represents a challenge in terms of scalability and response time, given that a higher amount of data involves a higher computation time. The lambda architecture offers a set of general purpose recommendations to design an architecture in Big Data scenarios with the purpose of reducing latency and getting results in real time. This paper presents a study on applying the Lambda architecture on the clustering of documents in a Big Data environment. We focus on the problem of the high latency that occurs when new documents are ingested into the clustering system. One of the key points suggested by this architecture is a separation into three layers of processing: batch layer, serving layer and speed layer. An additional problem in dealing with documents is the high dimensionality when representing such documents, which is approached by means of dimensionality reduction using Latent Dirichlet Allocation. We have seen that the combination of layers proposed in the Lambda Architecture allows clustering of large data volumes and yields results updated in real-time, obtaining a clustering quality comparable to other approaches that do not work on Big Data.en
dc.description.versionversión final
dc.identifier.urihttps://hdl.handle.net/20.500.14468/14596
dc.language.isoes
dc.publisherUniversidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial.
dc.relation.centerE.T.S. de Ingeniería Informática
dc.relation.degreeMáster Universitario en I.A. Avanzada: Fundamentos, Métodos y Aplicaciones
dc.relation.departmentInteligencia Artificial
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
dc.subject.keywordsarquitectura lambda
dc.subject.keywordsclustering de documentos
dc.subject.keywordsBig Data
dc.subject.keywordsLDA
dc.subject.keywordsstreaming
dc.subject.keywordsApache Spark
dc.subject.keywordsk-means
dc.subject.keywordsLambda architecture
dc.subject.keywordsdocument clustering
dc.subject.keywordsBig Data
dc.subject.keywordsLDA
dc.subject.keywordsstreaming
dc.subject.keywordsApache Spark
dc.subject.keywordsk-means
dc.titleArquitectura lambda aplicada a clustering de documentos en contextos Big Dataes
dc.typetesis de maestríaes
dc.typemaster thesisen
dspace.entity.typePublication
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
Vallejo_Martinez_Alberto_TFM.pdf
Tamaño:
1.68 MB
Formato:
Adobe Portable Document Format
Descargar
Colecciones
Trabajos de fin de máster (TFM)