Big Data y el Gobierno del Dato

Objetivo

Durante el 2017 se inicio en Mediaset un proyecto de centralización y normalización de datos de las distintas fuentes de datos que se disponían en ese momento. La arquitectura Big Data a implementar debía de respuesta de tiempo de consulta muy rápidos, en algunos casos real time y en otros near-real time y soportar tanto las fuentes de datos actuales como ser la base para incluir nuevas fuentes de datos aunque la naturaleza del dato fuera distinta de ahí que también surgiera la iniciativa de iniciar un proyecto de Gobierno del Dato. De ahí que este proyecto se abordará con técnicas Big Data.

Servicios

• Outsourcing

Plan de acción

El plan de acción que se siguió por parte de Mediaset junto con Megamedia fue construir un lago de datos con estructura plana con el fin de poder acceder a toda la información relacionada con una cuestión de negocio.

Para ello se realizó una implementación de una arquitectura Big Data securizada basada en Hadoop + Spark y desarrollo de unos procesos ELTs (Talend) para recopilar datos desde múltiples fuentes de datos (nube, data wharehouse, transaccionales, ...) y proponerlos de forma centralizada y normalizada a sus usuarios.

Tecnología

Talend, Hadoop, Spark 1.6, Cloudera Navigator, Java, Scala, R, Hive, Impala, PowerBI, Microstrategy.

Resultados

Como resultado, distintas áreas usuarias como Marketing, Comercial, Contenidos, y otras muchas y distintas, se benefician del lago de datos para construir o explotar más ágilmente los informes necesarios a su actividad.