Pràctica 9: Projecte Final Integrador

Objectiu

Desenvolupar un projecte complet que integri tots els coneixements adquirits.

Opcions de projecte

Opció A: Sistema d'Anàlisi de Xarxes Socials

Extreure dades d'APIs de xarxes socials
Anàlisi de sentiment amb IA
Generació de reports automatitzats
Dashboard de mètriques en temps real

Opció B: Pipeline d'E-commerce Analytics

Integració amb plataforma e-commerce
ETL de productes, vendes, clients
Data warehouse dimensional
Alertes d'stock i vendes
Reports automatitzats

Opció C: Monitor de Mercat Financer

Extracció de dades d'APIs financeres
Anàlisi de tendències
Alertes de preus
Prediccions bàsiques
Visualització de dades

Requisits mínims

Almenys 3 fonts de dades diferents
Transformacions complexes amb JavaScript/Python
Emmagatzematge en base de dades
Integració amb IA (opcional)
Sistema d'alertes
Documentació completa
Proves i validació

Estructura de lliurament

projecte-final/
├── README.md                 # Descripció del projecte
├── arquitectura.md          # Diagrama i explicació
├── workflows/
│   ├── pipeline_principal.json
│   ├── subworkflow_1.json
│   └── ...
├── sql/
│   ├── schema.sql
│   └── queries.sql
├── scripts/
│   └── test_data.py
├── docs/
│   ├── manual_usuari.md
│   └── manual_tecnic.md
└── presentacio.pdf

Criteris d'avaluació

Funcionalitat (30%): El sistema funciona correctament
Complexitat tècnica (25%): Ús avançat de N8N
Disseny d'arquitectura (20%): Arquitectura escalable i mantenible
Qualitat del codi (15%): Codi net i documentat
Documentació (10%): Documentació completa i clara

Lliurables

Projecte complet segons estructura
Vídeo demo (5-10 minuts)
Presentació tècnica
Codi font exportat

Desenvolupament del Projecte: Guia Pas a Pas

10.1. Estructura del Projecte

Exemple: E-commerce Analytics Platform

Architecture:

Sources:
  ├─ Shopify API (orders, products, customers)
  ├─ Google Analytics (web traffic)
  ├─ Email Provider (campaign metrics)
  └─ CRM Database (customer data)
    ↓
N8N Workflows:
  ├─ ETL Pipeline (extract, transform, load)
  ├─ Real-time Events (webhooks)
  ├─ ML Models (recommendations, churn prediction)
  └─ Reporting (automated dashboards)
    ↓
Storage:
  ├─ PostgreSQL (staging)
  ├─ BigQuery (warehouse)
  └─ Redis (cache)
    ↓
Outputs:
  ├─ Dashboards (Metabase/Looker)
  ├─ Email Reports
  └─ Slack Alerts

10.2. Workflows Principals

1. Daily ETL Pipeline:

[Schedule: 2AM Daily]
  ↓
[Shopify: Get Yesterday's Orders]
  ↓
[Transform Order Data]
  ↓
[Enrich with Customer Data]
  ↓
[Calculate Metrics]
  - Total revenue
  - AOV (Average Order Value)
  - Products sold
  ↓
[Load to PostgreSQL Staging]
  ↓
[Trigger dbt Transformation]
  ↓
[Load to BigQuery DWH]
  ↓
[Data Quality Checks]
  ↓
[IF: Success]
  └─> [Update Dashboard]
      [Send Report Email]

2. Real-time Order Webhook:

[Webhook: New Order]
  ↓
[Validate Order Data]
  ↓
[Enrich Customer Profile]
  ↓
[ML: Predict Churn Risk]
  ↓
[IF: High Value Customer]
  ├─> [Slack: Notify Sales Team]
  └─> [CRM: Create Follow-up Task]
  ↓
[Store in Real-time Table]
  ↓
[Update Dashboard Cache]

3. Weekly Report:

[Schedule: Monday 9AM]
  ↓
[BigQuery: Weekly Metrics]
  ↓
[Generate Visualizations]
  ↓
[AI: Generate Insights]
  Prompt: "Analyze these metrics and provide insights"
  ↓
[Create PDF Report]
  ↓
[Send to Management]
  ↓
[Post to Slack]

10.3. Criteris d'avaluació

Checklist del projecte:

✅ Arquitectura
  - Diagrama complet
  - Justificació de decisions tècniques
  - Consideracions d'escalabilitat

✅ Implementació
  - Almenys 5 workflows interconnectats
  - Error handling robusto
  - Logging adequat
  - Testing amb dades mock

✅ ETL Pipeline
  - Extract de 3+ fonts
  - Transformacions complexes
  - Load a DWH
  - Idempotència

✅ Qualitat
  - Codi net i comentat
  - Noms descriptius
  - Reutilització de credencials
  - Best practices aplicades

✅ Documentació
  - README amb setup instructions
  - Manual d'usuari
  - Manual tècnic
  - Diagrames

✅ Presentació
  - Video demo (5-10 min)
  - Slides tècnics
  - Explicació de reptes i solucions