Programació d'aula
Calendari de sessions
Horari: dijous, 3 hores seguides. Inici: 17 setembre 2026. Vacances: Nadal (22 des.–7 gen.) · Carnestoltes (25 feb.–3 mar.) · Setmana Santa (9 abr.–21 abr.) Proves escrites: una prova al final de cada bloc quan escau; s'indiquen a la taula.
Esborrany inicial
Aquesta seqüenciació és un esborrany inicial per al curs 2026-2027, subjecte a ajust segons el ritme real de l'aula.
Bloc 1 — Arquitectura i emmagatzematge distribuït (RA1)
| Sessió | Data | Hores | Continguts | Activitats | RA Treballat |
|---|---|---|---|---|---|
| S01 | 17 set. | 3h | Presentació del mòdul. Well-Architected Framework: els cinc pilars (excel·lència operativa, seguretat, fiabilitat, eficiència del rendiment, optimització de costos). | Qüestionari inicial. | RA1 |
| S02 | 24 set. | 3h | "Tot falla constantment": MTBF, disponibilitat, alta disponibilitat. Eines d'avaluació: AWS Trusted Advisor i Azure Advisor. | AC5075/01/01 — Relacionar categories de Trusted Advisor/Azure Advisor amb els pilars del WAF. | RA1 |
| S03 | 1 oct. | 3h | Processament batch vs streaming. Arquitectura Lambda: capes batch, speed i serving. Temperatura de les dades. | Anàlisi d'un cas real d'arquitectura Lambda (sistema de recomanació). | RA1 |
| S04 | 8 oct. | 3h | Arquitectura Kappa i els seus quatre pilars. Arquitectura Delta i Delta Lake. Arquitectura per capes. Principi SCV. | AC5075/01/02 — Justificar arquitectura per a un cas de frau bancari aplicant el principi SCV. | RA1 |
| S05 | 15 oct. | 3h | Emmagatzematge i formats: HDFS en profunditat, Delta Lake, Apache Iceberg, Apache Hudi, comparativa de formats. | Comparativa de formats d'emmagatzematge per a un cas d'ús donat. | RA1 |
| S06 | 22 oct. | 3h | Patrons d'ingestió (Kafka Connect, Debezium, NiFi). Repàs del bloc. Prova escrita Bloc 1. Inici de la pràctica. | Pràctica avaluable PR507501 — Disseny d'arquitectura amb NiFi. Rúbrica RA1. | RA1 |
| Total Bloc 1 | 18h |
Bloc 2 — Ecosistema i processament distribuït (RA2)
| Sessió | Data | Hores | Continguts | Activitats | RA Treballat |
|---|---|---|---|---|---|
| S07 | 29 oct. | 3h | HDFS: arquitectura NameNode/DataNode/Secondary NameNode, blocs i replicació, operacions bàsiques, safe mode i alta disponibilitat. | Operacions HDFS bàsiques en un clúster Docker. | RA2 |
| S08 | 5 nov. | 3h | MapReduce: el paradigma map/shuffle/reduce. Exemple WordCount amb Hadoop Streaming. YARN: ResourceManager, NodeManager, containers. | Execució d'un job WordCount sobre un dataset propi. | RA2 |
| S09 | 12 nov. | 3h | L'ecosistema Hadoop: Apache Hive (HiveQL, taules externes i particionades) i Apache HBase. | Creació de taules Hive sobre dades HDFS. | RA2 |
| S10 | 19 nov. | 3h | L'ecosistema Hadoop: Apache Sqoop, Apache Oozie i Apache ZooKeeper. Comparativa Hadoop vs Spark vs Flink. | Exercici pràctic HDFS+Hive sobre el dataset Titanic. | RA2 |
| S11 | 26 nov. | 3h | Inici pràctica clúster Hadoop: configuració del docker-compose.yml (NameNode, DataNode, YARN, Hive). |
Configuració i arrencada del clúster. | RA2 |
| S12 | 3 des. | 3h | Pràctica clúster Hadoop: operacions HDFS, job MapReduce i consultes Hive. Prova escrita Ecosistema Hadoop. | Pràctica avaluable PR507502 — Clúster Hadoop amb Docker Compose. Rúbrica RA2. | RA2 |
| S13 | 10 des. | 3h | Apache Spark: ecosistema, arquitectura (Driver, Executors, Cluster Manager) i RDD. | Primeres transformacions i accions amb RDD. | RA2 |
| S14 | 17 des. | 3h | Spark DataFrames i Spark SQL. Agregacions amb Spark. | Transformacions amb la DataFrame API sobre un dataset real. | RA2 |
| S15 | 14 gen. | 3h | Spark JDBC: connexió a bases de dades relacionals. Delta Lake amb Spark. | Lectura/escriptura JDBC i taules Delta. | RA2 |
| S16 | 21 gen. | 3h | Spark Structured Streaming. Windowing i Joins amb Spark. | Agregacions per finestra temporal amb dades simulades. | RA2 |
| S17 | 28 gen. | 3h | Pràctica PySpark: càrrega del dataset NYC Yellow Taxi, transformacions, Window Functions. | Pràctica avaluable PR507503 — Anàlisi amb PySpark i Docker. Rúbrica PR507503. | RA2 |
| S18 | 4 febr. | 3h | Apache NiFi: flowfiles, processadors i connectors. Casos de moviment i filtratge de dades. | AC5075/02/01 — Disseny d'un flux NiFi amb filtratge i publicació a Kafka. | RA2 |
| S19 | 11 febr. | 3h | Apache Kafka: topics, particions, brokers, factor de replicació, productors i consumidors. | AC5075/02/02 — Productor/consumidor Python amb clau de partició. | RA2 |
| S20 | 18 febr. | 3h | Kafka: consumer groups, offsets i Kafka Connect. Big Data al núvol: AWS EMR, Dataproc, HDInsight, Databricks. | Exploració de Databricks Community Edition. | RA2 |
| S21 | 4 mar. | 3h | Pràctica de streaming: Kafka + Structured Streaming a Databricks. Prova escrita Bloc 2. | Pràctica avaluable PR507504 — Streaming amb Kafka i Databricks. Rúbrica PR507504. | RA2 |
| Total Bloc 2 | 45h |
Bloc 3 — Integritat en sistemes de fitxers distribuïts (RA3)
| Sessió | Data | Hores | Continguts | Activitats | RA Treballat |
|---|---|---|---|---|---|
| S22 | 11 mar. | 3h | Per què la integritat importa a escala. Sumes de verificació (checksums CRC32C), hdfs fsck, el paper del servidor. |
AC5075/03/01 — Explicar el paper del DataNode en el càlcul de checksums. | RA3 |
| S23 | 18 mar. | 3h | Simulació de corrupció i recuperació de blocs. Sobrecàrrega del tractament de la integritat. Migració entre clústers amb DistCp. | AC5075/03/02 — Simulació de migració amb hadoop distcp. |
RA3 |
| S24 | 25 mar. | 3h | Repàs i pràctica del bloc. Prova escrita Bloc 3. | Pràctica avaluable PR507505 — Verificació d'integritat amb HDFS. Rúbrica RA3. | RA3 |
| Total Bloc 3 | 9h |
Bloc 4 — Monitorització de sistemes (RA4)
| Sessió | Data | Hores | Continguts | Activitats | RA Treballat |
|---|---|---|---|---|---|
| S25 | 1 abr. | 3h | Per què monitoritzar: costos, SLAs, MTTR. Stack Prometheus + Grafana: exporters, scraping, dashboards. | Desplegament de Prometheus + Grafana amb Docker Compose. | RA4 |
| S26 | 8 abr. | 3h | Ganglia: arquitectura gmond/gmetad/gweb. ELK Stack: Elasticsearch, Logstash, Kibana per a centralització de logs. | Configuració d'un pipeline Logstash per a logs de Spark. | RA4 |
| S27 | 22 abr. | 3h | YARN ResourceManager UI: mètriques i cues. Apache Airflow: DAGs View, Grid View i SLA Misses. | Interpretació de mètriques del ResourceManager. | RA4 |
| S28 | 29 abr. | 3h | Alertmanager: deduplicació, silenciaments, enrutament. Databricks: monitoratge en cloud. Optimització de costos (spot instances, autoscaling). | Configuració d'una regla d'alerta amb Alertmanager. | RA4 |
| S29 | 6 maig | 3h | Pràctica de monitorització: desplegament complet i dashboard funcional. Prova escrita Bloc 4. | Pràctica avaluable PR507506 — Monitorització amb Prometheus i Grafana. Rúbrica RA4. | RA4 |
| Total Bloc 4 | 15h |
Bloc 5 — Big Data aplicat a la presa de decisions (RA5)
| Sessió | Data | Hores | Continguts | Activitats | RA Treballat |
|---|---|---|---|---|---|
| S30 | 13 maig | 3h | Models d'Intel·ligència de Negocis. El procés KDD: selecció, neteja/transformació, mineria, interpretació. | AC5075/05/01 — Aplicació del KDD a un cas de negoci. | RA5 |
| S31 | 20 maig | 3h | Implantació d'un model de BI: objectiu, fonts a conjugar, quadre de comandament, validació de models BI. | AC5075/05/02 — Proposta de tècnica de validació per al cas del KDD. | RA5 |
| S32 | 27 maig | 3h | Pràctica de simulació d'implantació d'un model de BI. | Pràctica avaluable PR507507 — Simulació d'implantació d'un model de BI. Rúbrica RA5. | RA5 |
| S33 | 3 juny | 3h | Repàs i consolidació del mòdul. Entrega de pràctiques pendents. Prova escrita final. | Qüestionari final d'avaluació. | Tots els RA |
| Total Bloc 5 | 12h |
Mòdul 5075 Big Data Aplicat | Institut Sa Palomera (Blanes) | Curs IABD 2026-2027