Biaix en les dades
Per què cal mesurar el biaix abans d'entrenar
En desenvolupar models d'aprenentatge automàtic, cal comprovar si les dades d'entrenament contenen biaixos que puguin conduir a resultats injustos. Per exemple, les dades poden no tenir prou representació de determinats grups demogràfics, o poden contenir etiquetes esbiaixades. Un model entrenat amb un dataset que presenta aquests biaixos els aprendrà, i pot arribar a reproduir-los —o fins i tot agreujar-los— en les seves prediccions.
Les mètriques de biaix previ a l'entrenament (pre-training bias metrics) estan dissenyades per detectar i mesurar el biaix en les dades en brut, abans que s'utilitzin per entrenar cap model. Existeixen diverses mètriques, i la més adequada depèn dels objectius de validació de cada cas. Algunes mesuren el desequilibri general de les dades, com el desequilibri de classes (CI). D'altres mesuren el desequilibri d'etiquetes, com la diferència en les proporcions d'etiquetes (DPL).
Monitorar aquestes mètriques durant la preparació de les dades ajuda a identificar i mitigar els biaixos abans que comenci l'entrenament del model. D'entre totes les mètriques de biaix previ a l'entrenament, aquest bloc se centra principalment a abordar el desequilibri de classes, que es treballa amb més detall a la pàgina següent.
Conceptes i notació
Per parlar de mètriques de biaix cal establir uns conceptes comuns. El model conceptual següent és vàlid per a classificació binària (resultats amb només dos valors possibles: positiu i negatiu), però s'estén de forma natural a classificació multicategoria o a valors continus.
- Facet (grup): el valor d'un atribut que defineix un grup demogràfic d'interès (per exemple, l'edat, el gènere o el codi postal). Es distingeix entre el grup afavorit (el que el biaix beneficia) i el grup desafavorit (el que el biaix perjudica).
- Etiqueta observada (y): el resultat real registrat al dataset original (per exemple, "préstec concedit" / "préstec denegat").
- Etiqueta predita (y′): el resultat que prediu un model ja entrenat, durant l'entrenament o la inferència. Les mètriques pre-training només utilitzen etiquetes observades, mai prediccions, perquè s'apliquen abans que existeixi cap model.
- Resultat positiu: el valor d'interès (per exemple, l'acceptació d'una sol·licitud).
- Resultat negatiu: l'altre valor possible (per exemple, el rebuig d'una sol·licitud).
No hi ha una única definició de \"justícia\"
Fins i tot acceptant conceptes senzills d'equitat (fairness), n'hi ha moltes definicions diferents i aplicables segons el context. Per exemple, en un model de concessió de préstecs, "ser just" pot voler dir: (a) concedir el mateix nombre de préstecs a cada grup, (b) concedir-los en la mateixa proporció respecte al nombre de sol·licituds de cada grup, (c) acceptar la mateixa proporció de sol·licitants qualificats de cada grup, o (d) rebutjar la mateixa proporció de sol·licitants no qualificats de cada grup. Aquestes definicions no són equivalents, i triar-ne una és una decisió ètica i de negoci, no només tècnica.
Totes les mètriques d'aquesta pàgina són independents del model (model-agnostic): no depenen de les prediccions de cap algorisme concret, sinó únicament de les dades en brut, i per tant són vàlides amb independència de quin model es vulgui entrenar posteriorment.
Taula de mètriques de biaix previ a l'entrenament
| Mètrica | Què mesura | Exemple de pregunta que respon | Rang de valors |
|---|---|---|---|
| Desequilibri de classes (CI) | El desequilibri en el nombre de membres entre els diferents grups, sense considerar els resultats. | Hi podria haver biaix per edat per manca de dades suficients d'un grup d'edat concret? | [-1, +1] |
| Diferència en les proporcions d'etiquetes (DPL) | El desequilibri en la proporció de resultats positius entre grups. | Hi podria haver biaix per edat a causa d'un etiquetatge esbiaixat dels grups al dataset? | Binari/multicategoria: [-1, +1]. Continu: (-∞, +∞) |
| Divergència de Kullback-Leibler (KL) | Com de diferents són, entròpicament, les distribucions de resultats de cada grup. | Com de diferents són les distribucions de resultats de sol·licituds de préstec entre grups demogràfics? | [0, +∞) |
| Divergència de Jensen-Shannon (JS) | Una versió simètrica i acotada de la divergència KL entre les distribucions de resultats de cada grup. | Igual que la KL, però amb una mètrica simètrica i més estable numèricament. | [0, +∞) |
| Norma Lp (LP) | La diferència, com a distància de norma p, entre les distribucions de resultats de grups diferents. | Com de diferents són, en termes de distància, les distribucions de resultats entre grups? | [0, +∞) |
| Distància de variació total (TVD) | La meitat de la diferència en norma L1 entre les distribucions de resultats de grups diferents. | Com de diferents són les distribucions de resultats entre grups? | [0, +∞) |
| Kolmogorov-Smirnov (KS) | La divergència màxima entre les distribucions de resultats de grups diferents. | Quins resultats (per exemple, d'admissió universitària) presenten la disparitat més gran entre grups demogràfics? | [0, +1] |
| Disparitat demogràfica condicional (CDD) | La disparitat de resultats entre grups, considerada globalment però també per subgrups. | Alguns grups tenen una proporció de rebuigs més alta que la seva proporció d'acceptacions, fins i tot dins de subgrups similars? | [-1, +1] |
Quina mètrica triar?
No cal memoritzar les fórmules de cada mètrica, sinó saber-les triar correctament:
- Si vols saber si un grup té massa poques dades respecte als altres → CI.
- Si vols saber si un grup rep massa pocs resultats positius respecte als altres → DPL.
- Si vols comparar distribucions senceres de resultats entre grups (no només la proporció de positius) → KL, JS, Lp-norm o TVD.
- Si vols saber on es troba la diferència màxima entre dues distribucions → KS.
- Si sospites que el biaix només apareix en subgrups concrets (per exemple, dones d'una franja d'edat específica) → CDD.
Desequilibri de classes (Class Imbalance, CI)
El desequilibri de classes és un repte habitual en aprenentatge automàtic: la distribució de classes a les dades d'entrenament és asimètrica, és a dir, una classe (o un grup) està significativament menys representada que les altres.
Exemple: un model entrenat majoritàriament amb dades de persones de mitjana edat probablement serà menys precís en fer prediccions sobre persones més joves o més grans, simplement perquè ha vist molts menys exemples d'aquests grups durant l'entrenament.
Abordar el desequilibri de classes és un factor clau per garantir que un model d'aprenentatge automàtic funcioni correctament en totes les classes i produeixi resultats útils i fiables. La pàgina següent, Desequilibri de classes, detalla les tècniques pràctiques per corregir-lo.
AC5074/08/02 — Miniactivitat
Una entitat financera està construint una solució d'aprenentatge automàtic per a la concessió de préstecs. L'equip vol validar que les seves dades no contenen biaixos relacionats amb l'edat dels sol·licitants, i necessita assegurar-se que hi ha prou representació de tots els grups d'edat al dataset.
Quina mètrica de biaix previ a l'entrenament és la més adequada per mesurar si les dades en brut estan massa esbiaixades cap a una determinada franja d'edat? Justifica la resposta i descarta almenys dues altres mètriques de la taula explicant per què no responen a la mateixa pregunta.
Bloc 8 | Mòdul M5074 Sistemes de Big Data | Institut Sa Palomera (Blanes) | Curs CEIABD 2026-2027