Procesos de automatización para transformar, cargar y disponer datos para proyectos solicitantes en una entidad financiera - Lima 2024.

Abstract

El presente trabajo trata sobre automatizar los procesos de extracción, transformación y disposición de datos hacia los usuarios finales de negocio al interior de una entidad financiera, cada proceso es un requerimiento funcional singular, con sus propias lógicas de negocio, interacciones entre diversas fuentes, transformaciones y cálculos que se deben aplicar sobre los datos, obteniendo como resultado final una tabla lógica de datos con una estructura preestablecida. El objetivo es sistematizar estos requerimientos, bajo buenas prácticas de codificación y luego automatizarlos eficientemente, tomando en cuenta la vasta volumetría de los datos, la seguridad de estos, la rapidez con la deben estar disponibles, y el monitoreo que deben tener una vez que se encuentren productivos, además cada proceso deberá estar construido de modo que su mantenimiento y escalamiento sea sencillo. Para ello es primordial identificar mejoras durante la fase de documentación funcional, analizar minuciosamente que tecnología emplear, que herramientas de software, el lenguaje de programación más apropiado, y los controles a implementar para el seguimiento post productivo. Considerando estos puntos se proponen 2 alternativas de solución, la primera usando tecnología Java, Plataformas Microsoft SQL Integration Services, SQL server, Git, Bitbucket, control M y Metodología Kanban. Y la segunda empleando tecnologías Datio, Spark, Scala, Git, Bitbucket, control M. Metodología Scrum y componentes de software’s propios de la entidad financiera. Luego de efectuar un estudio riguroso entre las ventajas y alcances de cada alternativa frente al objetivo principal, se decidió seleccionar la alternativa 2.