Análisis
Big Data

• Características

  • Volumen

    • Incontables

    • Difícil
      Trasiego

  • Velocidad

    • Generación

    • Análisis

  • Variedad

    • Estructurados

      • Vector
        Tabular

      • Relacionales

    • Semiestructurados

      • XML

      • JSON

    • No Estructurados

      • Multimedia

      • Redes
        Sociales

      • Temporales

      • Geolocalización

• Retos

  • Gestión

  • Diversidad

  • Velocidad

  • Infraestructura
    Distribuida

  • Seguridad

• Historia

  • Cómputo

    • Hz

    • MOps

    • Flops

    • Multihilo

    • Mutiproceso

  • Almacenamiento

    • Escalas

    • Dispositivos

  • CERN

    • Máquinas

    • Redes

    • Mallas

      • IoT

      • Web

• Sistemas
  Distribuidos

  • Cliente-Servidor

  • Peer-to-peer

  • Geodistribuidos

    • IoT

    • Edge Computing

  • Comunicación

    • Asíncrónica
      (cola)

    • Sincrónica
      (pila)

  • Retos

    • Paralelización

      • Datos

      • Algoritmos

    • Datos Compartidos

      • Back
        propagation

      • Forward
        Pass

    • Gestión
      Recursos

      • GPU

      • FPGA

      • RAPIDS

    • Tolerancia Fallos

    • Privacidad

      • Aprendizaje
        Federado

    • Portabilidad

• PySpark

  • Escalamiento

    • Horizontal

    • Vertical

  • Biblioteca
    Código Abierto

    • API

      • Java

      • Scala

      • Python

      • R

      • SQL

  • Expresivo

    • SQL

    • TXT

    • CSV

  • Rápido

    • Hadoop

      • Map Reduce

  • Jerarquía

    • Core

      • Eficiencia

      • Memoria

      • Recuperación Fallos

      • Planificación

      • Módulos ML

    • Driver

    • Maestro

      • Dueño Recursos

      • Tolenrante
        Fallos

    • Distribuidor

      • Gestiona
        Recursos

      • Standalone

    • Workbench

      • Trabajador

        • Ejecutor 1

          • Activo

        • Ejecutor 2

          • Ocioso

        • ...

        • Ejecutor N-1

        • Ejecutor N

  • Versátil

    • AWS

    • GCP

    • Azure

  • Desventajas

    • No Small Data

    • Traducido
      Java Nativo

  • Trabajo Tardío

    • Plan Ejecución

      • Transformación

        • Agregar

        • Estadísticas

        • Entrenar Modelo

        • Caché

      • Acción

        • Despliegue

        • I/O

        • Cómputo

  • Estructuras Datos

    • RDD

      • No Metadata

    • DataFrame

      • Si Metada

    • Inmutables

    • Distribuidas

  • Algoritmos
    IA

    • Árboles

      • RF

      • Binarios

    • Regresión
      Lineal

    • Deep
      Learning

• ML

  • Ciclo

    • Acopio

    • EDA

    • Limpieza

    • Feature
      Engineering

    • Entrenamiento

    • Validación

    • Tuning

    • Evaluación

    • Despliegue

    • Monitoreo

      • Entrega

      • Drifting

  • Algoritmos

    • Regresión Lineal

      • Grados de Libertad

      • Rápidos

      • Muchos Atributos

    • Ensambles

      • Conjuntos
        Algoritmos

        • Bagging

        • Boosting

        • Stacking

• Opciones
  Comerciales

  • Propietarias

    • Alto Soporte

    • Escalabilidad

    • Diversidad

    • Caras

  • Libres

    • No Amigables

    • Inversión
      Inicial
      HD

    • Tiempo Implementación

    • Muy Escalables

    • Apoyo en Academia