Data Lake para Educación
Descripción del Caso
Durante el año de 2020 el equipo de Soluciones ha trabajado en conjunto con las áreas de TI y datos de una de las más prestigiosas universidades de Chile para cumplir con la implementación de su Data Lake institucional.
Entre los logros de este servicio estuvieron los siguientes alcances:
- La ingesta de más de 1.200 orígenes de datos de la capa Data Lake.
- El desarrollo de un mecanismo inteligente de carga.
- El diseño de una arquitectura de datos robusta con componentes de control, trazabilidad, calidad y catalogo de datos.
Arquitectura Técnica
La solución fue implementada sobre un entorno AZURE con componentes PAAS y SAAS tales como Data Lake Storage Gen2, Data Factory, Databricks, Synapse donde el objetivo principal fue buscar una solución costo eficiente y escalable que cumpliera con la visión de datos y crecimiento esperada por esta institución Educacional.
Beneficios
Contar en un periodo corto de tiempo (3 meses) con un Lago de Datos implementado que cubriera la información disponible en los principales sistemas origen requeridos para el análisis del ciclo de vida del alumno, datos financieros ente otros. Con esta información abastecer a las áreas de Datos (Data Scientist) y áreas institucionales avocadas a la distribución de la información en las diferentes facultades.
