El futuro de la Arquitectura de Big Data: ¡Profesión en auge!

El mundo se encuentra cambiando y evolucionando constantemente, y con él lo hacen las profesiones. Puestos y perfiles laborales que no existían hace poco más 10 años hoy comienzan a tomar un protagonismo importante en el campo laboral. Según la BLS* (Bureau of Labor Statistics), los puestos relacionados con la Big Data crecerán hasta en un doce por ciento para el 2028. Creando poco más de medio millón de nuevos trabajos en el mismo periodo.

Fuente: https://bit.ly/BLSReporte

Los perfiles relacionados con la Big Data y las habilidades que se requieren para estos puestos suelen ser difíciles de encontrar, debido a la escasez de profesionales especializados en estos campos para cubrir una demanda en constante aumento. Por ello los salarios anuales para estos puestos suelen pasar las seis cifras y se encuentran por encima del rango promedio del mercado según un estudio de Robert Half Technology*.

Fuente: https://bit.ly/RHTPDF

El segundo perfil mejor pagado dentro de las carreras relacionadas con Big Data es Data Architect, pero qué es la Big Data Architect, en qué consiste y cuáles son los principales desafíos para este puesto con gran proyección en el mercado laboral, en el siguiente artículo te contamos más.

La evolución de la Big Data

Hace 9 años se calculaba que la tienda por departamento Walmart, recogía 2.5 Petabytes de información cada hora sólo proveniente de las transacciones de los clientes. Un Petabyte es equivalente a mil Terabytes. Ya desde hace poco menos de una década se veían los desafíos que la transformación digital de esta nueva era traía consigo.

Manejar, procesar y gestionar tal cantidad de datos suele ser imposible para los programas o procesadores convencionales. Aquí es donde ingresa la arquitectura de la Big Data.

Qué es la Arquitectura de la Big Data?

La arquitectura de la Big Data es la base para la Big Data Analytics. Su función consiste en tratar y analizar grandes volúmenes de datos, que no pueden ser gestionados convencionalmente, Terabytes o Petabytes. El arquitecto trabaja de cerca con el cliente para transformar sus requisitos en una solución de Big Data.

La estructura de una Arquitectura de Big Data cuenta con las siguientes capas:

• Source Layer
• Data Ingestion
• Storage Layer
• Analysis Layer
• BI Layer

Source Layer

En esta etapa, la información es recolectada. Las fuentes de la Big Data son las que gobiernan su arquitectura. El diseño de la arquitectura dependerá principalmente de las fuentes. La información proviene de diferentes tipos, en formatos diferentes. Que incluyen bases de datos, servidores de compañías, proveedores de terceros, etc. Esta data puede ser recolectada o utilizada en tiempo real. Estas fuentes pueden acumular enormes cantidades de datos en poco tiempo. La arquitectura de la big data está diseñada de tal manera que estos volúmenes de información puedan ser manejados.

Data Ingestion

Esta es la primera etapa donde la data es procesada desde la llegada de sus diferentes fuentes y formatos. Aquí es donde se prepara toda la información para que pueda ser utilizada en las capas posteriores, siendo esta labor su principal objetivo.

Storage Layer

En esta etapa termina la recepción de información. La data es recibida de diferentes fuentes y es almacenada de la manera más apropiada. Para ello, se pueden cambiar sus formatos según los requerimientos del sistema. Por ejemplo la información que va a ser almacenada en diferentes formatos será almacenada en HDFS, mientras que la información que necesita ser estructurada tendrá que ser almacenada en RDBMS. El formato siempre dependerá del propósito para el que usaremos la data luego.

Analysis Layer

El principal objetivo de las empresas que utilizan la Big Data es obtener información de valor que ayude a tomar decisiones acertadas basadas en datos. Por ello la parte más importante de la Arquitectura de la Big Data es la capa de Análisis. En esta etapa se analiza la información almacenada para procesar y obtener los datos relevantes e información de calidad. Para ello se emplean diferentes herramientas, en esta parte del proceso la data estructurada es más fácil de procesar, mientras que la data no estructurada, para que pueda ser analizada, requiere de herramientas avanzadas. Por ello es importante el tratamiento de la data en fases previas a esta capa.

a. Batch Processing

Dado que la información obtenida es de gran tamaño la arquitectura suele manejar procesamientos por lote o Batch processing, estos procesamientos se encargan de filtrar, modificar y preparar la data para un análisis más avanzado. Este proceso va desde la lectura de la información desde su almacenamiento, hasta su conversión a archivos finales en algunos casos.

b. Real-Time Processing

Procesar la data en tiempo real es la tendencia más usada en el mundo de la Big Data. Para ello la Arquitectura de la Big Data debe incluir un sistema de captura y almacenamiento de datos en tiempo real. Para tratar con información en tiempo real es necesario un sistema muy robusto que soporte el proceso de captura almacenamiento y proceso de la información en tiempo real.

BI Layer

Esta capa recibe el análisis final y se encarga de replicarlo a los sistemas de salida o finales, para que los datos sean procesados finalmente por aplicativos que muestren la información relevante en reportes o Dashborads.

Conclusión y Recomendaciones.

Sacarle el máximo provecho a toda la información que proveniente de la big data no es una tarea fácil. Cómo se ha podido observar a lo largo de sus procesos, consta de etapas con numerosos componentes y tareas complejas que reciben y procesan gran cantidad de datos con el objetivo de procesarlos de manera eficiente para conseguir información de calidad que cumpla con los requerimientos y expectativas del cliente final.

Un elemento importante en la implementación de la arquitectura de datos es la seguridad. Es necesaria la implementación de diferentes sistemas de seguridad robustos que salvaguarden la información de terceros.