Salta el contingut

Big Data Aplicat

Benvingut/da al website del mòdul 5075 — Big Data Aplicat, corresponent al curs d'especialització Intel·ligència Artificial i Big Data (CEIABD) de l'Institut Sa Palomera (Blanes).

Descripció del mòdul

El mòdul Big Data Aplicat (99 hores, 8 crèdits ECTS) és la continuació pràctica del mòdul 5074 — Sistemes de Big Data: si en el 5074 s'aprenen els fonaments d'anàlisi, emmagatzematge i visualització de dades, en el 5075 s'apliquen a sistemes d'emmagatzematge distribuït reals i al seu ecosistema, gestionant solucions completes des del disseny arquitectònic fins a la monitorització en producció.

Al llarg d'aquest mòdul es treballa des del disseny d'arquitectures Big Data (Lambda, Kappa, Delta) fins a la implementació pràctica amb l'ecosistema Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark, els sistemes de flux Apache NiFi i Apache Kafka, la integritat de sistemes de fitxers distribuïts, la monitorització de clústers en producció (Prometheus, Grafana) i l'aplicació del Big Data a la presa de decisions de negoci. Totes les pràctiques s'executen amb Docker.

Aquest currículum es correspon amb el Reial decret 279/2021, de 20 d'abril (BOE), pel qual s'estableix el curs d'especialització d'Intel·ligència Artificial i Big Data, modificat pel Reial decret 497/2024, de 21 de maig, i desenvolupat a Catalunya per la Resolució EDF/209/2025, de 27 de gener (DOGC), que en detalla el currículum. Consulta Recursos per als enllaços complets a la normativa.

Organització del mòdul

El mòdul s'organitza en cinc resultats d'aprenentatge (RA), que segueixen una progressió deliberada: primer es decideix com dissenyar l'arquitectura i emmagatzemar les dades (RA1), després com processar-les a escala amb tot l'ecosistema disponible (RA2), es garanteix la seva integritat física (RA3), es vigila l'estat del sistema en producció (RA4) i, finalment, es validen les tècniques aplicades a la presa de decisions de negoci (RA5).

flowchart LR
    A["RA1\nArquitectura i\nemmagatzematge"] --> B["RA2\nEcosistema i\nprocessament"]
    B --> C["RA3\nIntegritat de\nfitxers distribuits"]
    C --> D["RA4\nMonitoritzacio"]
    D --> E["RA5\nBig Data aplicat\na decisions"]

    style A fill:#3949ab,color:#fff,stroke:#283593
    style B fill:#3949ab,color:#fff,stroke:#283593
    style C fill:#3949ab,color:#fff,stroke:#283593
    style D fill:#3949ab,color:#fff,stroke:#283593
    style E fill:#3949ab,color:#fff,stroke:#283593

RA1 — Arquitectura i emmagatzematge distribuït

Well-Architected Framework, arquitectures Lambda/Kappa/Delta, principi SCV, i emmagatzematge/formats per a Big Data.

RA2 — Ecosistema i processament distribuït

Hadoop (HDFS, MapReduce, YARN), l'ecosistema complementari (Hive, HBase, Sqoop, Oozie, ZooKeeper), Apache Spark, Apache NiFi, Apache Kafka i Big Data al núvol.

RA3 — Integritat en sistemes de fitxers distribuïts

Checksums CRC32C, hdfs fsck, sobrecàrrega de la comprovació d'integritat, i migració de dades entre clústers amb DistCp.

RA4 — Monitorització de sistemes

Prometheus + Grafana, Ganglia, ELK Stack, YARN ResourceManager UI, Airflow, Alertmanager i optimització de costos cloud.

RA5 — Big Data aplicat a la presa de decisions

El procés KDD i la simulació d'implantació d'un model d'Intel·ligència de Negocis.

Tecnologies i eines treballades

Tecnologia Categoria Casos d'ús principals
Apache Hadoop (HDFS, YARN, MapReduce) Emmagatzematge i processament distribuït Emmagatzematge massiu tolerant a fallades, processament batch
Apache Spark Processament distribuït Batch, streaming i SQL sobre grans volums
Apache NiFi Ingestió Fluxos visuals d'ingestió i transformació de dades
Apache Kafka Streaming Missatgeria publicador/subscriptor a escala
AWS EMR / Google Dataproc / Azure HDInsight / Databricks Cloud Clústers Big Data gestionats
Prometheus / Grafana / ELK Stack Monitorització Mètriques, logs i alertes de sistemes Big Data

Enfocament pràctic

Totes les pràctiques del mòdul estan dissenyades per executar-se amb Docker, reproduint fidelment l'entorn de treball professional actual.

  • Programació

    RA, CA, continguts i planificació temporal del mòdul.

    Programació

  • RA1 · Arquitectura i emmagatzematge

    WAF, arquitectures Lambda/Kappa/Delta i formats d'emmagatzematge.

    RA1

  • RA2 · Ecosistema i processament

    Hadoop, Spark, NiFi, Kafka i Big Data al núvol.

    RA2

  • RA3 · Integritat de fitxers distribuïts

    Checksums, fsck i migració de dades.

    RA3

  • RA4 · Monitorització

    Prometheus, Grafana, ELK, YARN i Airflow.

    RA4

  • RA5 · Big Data aplicat a decisions

    Procés KDD i simulació d'implantació d'un model BI.

    RA5

  • Programació d'aula

    Calendari de sessions, activitats i CAs treballats al llarg del curs.

    Programació d'aula

  • Recursos

    Normativa, documentació font i bibliografia recomanada.

    Recursos

  • Validació Criteris d'Avaluació

    Mapa de cobertura RA-CA-Instruments i taula completa d'activitats del mòdul.

    Validació