Fundamentos básicos de Big Data

• ¿Qué es? Múltiples definiciones. Poner énfasis en que los mismos datos se convierten en big data en función de lo que se quiera hacer con ellos. Ejemplo: 100M registros, hacer una media = no big data, entrenar un modelo complejo = big data.
• Principio de funcionamiento: MapReduce. Ejemplos clásicos para entender el concepto (contar palabras en un texto, etc.).
• Framework Open Source para computación distribuida. Basado en el whitepaper de Google sobre MapReduce de 2004 y GFS (Google File System). Orientación a Cloudera.
• Concepto de Data Lake.
• Concepto ETL, ELT.
• La importancia del metadato y el data governance para la analítica.
• Los Datalabs en un modelo de integración analítica con el Data Lake y el Gobierno del dato.
• Plataformas de Servicios en la nube (Cloud Services).

• Hadoop: Almacenamiento y procesamiento distribuido.
• Herramientas de obtención de datos: Sqoop, Flume y Nifi.
• Motores de consulta SQL:
  • Hive e impala:
    • Principio de funcionamiento.
    • Sintaxis y funciones propias de HiveQL e Impala.
  • Procesamiento de datos “in-memory”:
    • • Introducción y principio de funcionamiento.
      • DataFrames & Spark SQL.
    • Interfaces:
      • Web (Hue, Ambari, Cloudera Manager).
    • Bases de datos NoSQL:
      • Hbase, Cassandra, MongoDB y Neo4J.
    • Procesamiento de datos en Streaming.

• Definición e historia de la Ciencia de Datos.
• Aplicaciones típicas por sector y casos de éxito reales.
• Principales perfiles en el mundo Data: Data Engineer, Data Scientist, Data Analyst.
• Errores comunes de las empresas al desarrollar proyectos de Data Science y cómo evitarlos.
• Entorno de trabajo de un Data Scientist: principales herramientas, tecnologías, lenguajes de programación y entornos de desarrollo.

• Análisis inicial del dato:
  • Análisis exploratorio de los datos.
  • Localización de datos atípicos y métodos de detección de outliers y valores extremos.
  • Obtención de estadísticos descriptivos.
  • Evaluación de la calidad del dato.
  • Tipologías de datos: categóricos, numéricos, ordinales, temporales (fechas).
  • Caso práctico: evaluación de un dataset real propuesto por los profesores.
• El modelo de datos en tres capas:
  • Capa Raw: ingesta de datos en crudo.
  • Capa Master: principales filtros y agregaciones sobre los datos.
  • Capa de Consumo: limpieza final y feature engineering para consumo en dashboards y modelos de IA.
• Visualización:
  • Tipos de visualizaciones de datos y cuándo usar cada tipo de visualización.
  • Principales librerías open source para visualización, con sus ventajas e inconvenientes:
    • matplotlib y seaborn: principales librerías de visualización estática.
    • Plotly: librería para visualización dinámica.
  • Business Intelligence:
    • Herramientas de reporting (Tableau y Microsoft Power BI).
    • Ejercicio práctico: realización de un dashboard con Power BI.

• Metodología para el desarrollo de algoritmos de Inteligencia Artificial:
  • Sesgo y Varianza.
  • Conjuntos de entrenamiento, validación y test.
  • Validación cruzada (cross-validation).
• Algoritmos de Inteligencia Artificial:
  • Aprendizaje supervisado:
    • Modelos lineales.
    • Modelos basados en árboles de decisión.
    • Redes Neuronales (Deep Learning).
    • Clasificación y Regresión.
  • Aprendizaje no supervisado:
    • Clusterización.
    • Detección de anomalías.
  • Procesamiento del Lenguaje Natural.
  • Visión Artificial.

• Gestión de datos:

Cómo desarrollamos , ejecutamos y supervisamos los planes , políticas, programas y prácticas que permiten entregar, controlar, proteger e incrementar el valor de los datos durante su ciclo de vida.

• Conceptos esenciales
• Ética en el manejo del dato

• Gobierno de datos (Data Governance) y Arquitectura de datos

Qué datos tenemos, dónde residen y cómo se pueden utilizar

• Conceptos esenciales,actividades y herramientas.

• Arquitectura, modelo y diseño del dato.
  • Conceptos esenciales, actividades y herramientas.
• Gestión de metadatos (Metadata Management)

Datos que hablan de datos, describen el contenido de los archivos o de su información de los mismos

• Conceptos esenciales.
• Tipos, fuentes y arquitectura de Metadatos

• Almacenamiento de datos y Operaciones :
  • Conceptos esenciales, herramientas y técnicas.
  • Tiempo de vida de los datos.
• Data Security:

Medidas de protección de la privacidad digital que se aplican para evitar el acceso no autorizado a los datos.

• DSA (Data Sharing Agreement). Seguridad en base a contratos de uso (Compliance).
• Integración con los sistemas Legacy de seguridad y servicios en las empresas
• Integración de los procesos existentes en una plataforma para que pasen a estar gobernados.
• Reglamentos de protección del dato.

• Roles típicos dentro de los procedimientos de gobierno:

Quién es quién en el gobierno del dato

• Artefactos a controlar. DSA, Datasets, Procesos

• Uso de los datos

¿Cómo se están usando los datos? ¿Quién los usa?

• Analítica semántica de los datos de mayor interés para anticipar necesidades futuras de datos.

• Data lineage. datos y procesos:

De dónde vienen los datos y donde se mueven en el tiempo

• Tipos de lineage: estático, semi dinámico, dinámico y de negocio.

• Data Quality:

Asegurar que los datos sean exactos, íntegros, confiables , relevantes y actualizados están.

• Ciclo de vida de los datos.
• Ciclo de vida de la calidad del Dato.
• Perfilado de los datos.
• Roles de la calidad del dato.
• Data Quality y Data Governance.

• Diccionario de datos.

Cómo utilizar el conjunto de definiciones que contiene las características de los datos. Enriquecimiento del metadato:

• Aprovechar las sinergias en cuanto a la existencia de un Diccionario en la empresa.
• Aprovechar las sinergias en cuanto a la existencia de Modelos de Datos en la empresa.

• Data Governance en la nube

Dónde y cómo poner en práctica todo lo aprendido de Data Governance

• Plataformas
• Características y servicios de gobernanza.
• Soluciones

• Introducción en la gestión de proyectos Big Data y Analíticos.
• Cuáles son los principales desafíos y riesgos de un Proyecto de Big Data y Analíticos.
• Cómo organizar, estructurar y desplegar un Proyecto de Big Data:
  • Etapas
  • Riesgos
  • Metodologías
  • Claves para el éxito y desafíos de la gestión.
• Cómo organizar, estructurar y desplegar un proyecto de Analítica:
  • Etapas: implementación y automatización. ML Operations. Feature Stores.
  • Riesgos: reproducibilidad de modelos y predicciones. Drifting.
  • Diagnóstico (referencia incorrecta - repetida). Error Analysis.
  • Gobernanza y cumplimiento normativo.
  • Claves para el éxito y desafíos de la gestión.
• Optimización y elaboración de Plan de Desarrollo de proyecto (PDP).
• Cultura y Metodologías Ágiles: Nuevas capacidades y Roles, metodologías LEAN: Scrum y Kanban. Etapas y entregables.
• Adaptación de las metodologías ágiles a los proyectos de Analítica.
• Operatividad en los proyectos: despliegue, orquestación, integración continua y entrega continua.
• Aciertos y errores en los casos de uso de Big Data y Analiticos.
• Claves para el éxito de un proyecto de Big Data y Analiticos.

• Casos de uso.
• Trabajo fin de máster.