📖 Glossari de Termes¶
Recull dels conceptes clau del curs ordenats alfabèticament.
A¶
Agent (d'IA) Sistema autònom que percep el seu entorn, raona sobre ell i executa accions per assolir un objectiu. A diferència d'una simple crida a un LLM, un agent pot usar eines, emmagatzemar memòria i planificar múltiples passos.
Attention / Mecanisme d'Atenció Component central del Transformer. Permet que cada token d'una seqüència "miri" directament qualsevol altre token per ponderar la seva rellevància. Elimina la necessitat de processar la seqüència pas a pas com feien les RNN.
B¶
Backpropagation Algorisme per entrenar xarxes neuronals. Calcula el gradient de l'error respecte a cada pes de la xarxa, propagant-lo cap enrere des de la sortida fins a l'entrada. Base de l'aprenentatge profund des de 1986.
BERT (Bidirectional Encoder Representations from Transformers) Model de Google (2018) basat en Transformer que llegeix el text en ambdues direccions (esquerra-dreta i dreta-esquerra) simultàniament. Especialitzat en tasques de comprensió del llenguatge (classificació, Q&A).
C¶
Chain-of-Thought (CoT) Tècnica de prompting que demana explícitament al model que raoni pas a pas ("Let's think step by step") abans de donar la resposta final. Millora significativament el rendiment en tasques de raonament.
ChromaDB Base de dades vectorial de codi obert dissenyada per emmagatzemar i cercar embeddings de manera eficient. Molt usada en sistemes RAG per recuperar documents rellevants.
Context Window Nombre màxim de tokens que un LLM pot processar en una sola inferència (entrada + sortida combinades). GPT-4: 128K tokens. Claude 3: fins a 200K tokens. Gemini 1.5: fins a 1M tokens.
E¶
Embedding Representació numèrica densa d'un text (paraula, frase o document) en un espai vectorial multidimensional. Textos semànticament similars tenen vectors pròxims. Exemple: els vectors de "gat" i "felí" estaran molt propers.
Emergència Fenomen pel qual els LLM adquireixen capacitats no previstes en superar certes mides (nombre de paràmetres). El raonament aritmètic o la traducció a idiomes no entrenats explícitament en són exemples.
F¶
Fine-tuning Fase d'adaptació d'un model pre-entrenat a una tasca o domini específic usant un dataset més petit i etiquetat. Permet especialitzar models generals (GPT, Llama) sense entrenar-los des de zero.
Function Calling Capacitat dels LLM moderns per generar crides estructurades a funcions externes (APIs, eines) en comptes de text lliure. Permet als agents interactuar amb el món real: cercar, calcular, llegir fitxers, etc.
G¶
GPU (Graphics Processing Unit) Processador originalment dissenyat per a gràfics, però molt eficient per a operacions matricials paral·leles. Indispensable per entrenar i inferir LLMs. NVIDIA és el proveïdor dominant (sèries A100, H100).
Gradient Vanishing (Gradient que desapareix) Problema de les RNN i xarxes profundes: en propagar l'error cap enrere molts passos, el gradient es torna tan petit que els pesos deixen d'actualitzar-se. Les LSTM el mitiguen; els Transformers l'eliminen.
H¶
Hallucination (Al·lucinació) Fenomen en el qual un LLM genera informació factual incorrecta però presentada amb confiança. Causa principal: el model no "sap" el que no sap; maximitza la probabilitat del token següent sense verificar la veracitat.
Hyperparàmetre Paràmetre de configuració del procés d'entrenament que no s'aprèn de les dades, sinó que es defineix manualment. Exemples: taxa d'aprenentatge (learning rate), mida del batch, nombre de capes.
I¶
Inferència Fase d'ús d'un model ja entrenat per generar prediccions o respostes. S'oposa a l'entrenament. En producció, les aplicacions fan "inferència" cridant l'API del model.
L¶
LangChain Framework Python per construir aplicacions basades en LLM. Proporciona abstraccions per a cadenes de processos, agents, memòria, eines i integració amb fonts de dades externes.
LangGraph Extensió de LangChain per construir agents i workflows multi-agent com grafs dirigits (nodes = accions, arestes = transicions). Permet cicles i control explícit del flux.
LlamaIndex Framework Python especialitzat en la ingesta, indexació i cerca de dades per a LLM. Destacat en sistemes RAG i connexió de LLMs amb fonts de dades pròpies.
LLM (Large Language Model) Model de llenguatge entrenat en grans corpus de text amb milers de milions (o bilions) de paràmetres. Capaç de generar text coherent, respondre preguntes, traduir i raonar. Exemples: GPT-4, Claude, Llama, Gemini.
LSTM (Long Short-Term Memory) Variant de les RNN dissenyada per mitigar el problema del gradient que desapareix. Incorpora mecanismes de "portes" (input, forget, output gate) per decidir quina informació conservar o descartar al llarg del temps.
M¶
Multi-agent Arquitectura on múltiples agents d'IA col·laboren per resoldre tasques complexes. Cada agent pot tenir un rol especialitzat (investigador, redactor, revisor) i interactuen entre ells coordinats per un orquestrador.
P¶
Paràmetre Valor numèric après durant l'entrenament d'una xarxa neuronal (pes o biaix). Els LLMs es descriuen pel nombre de paràmetres: GPT-3 té 175 bilions (175B), Llama 3 disposa de variants de 8B i 70B.
Pre-training Fase inicial d'entrenament d'un LLM en enormes corpus de text (web, llibres, codi). L'objectiu és predir el token següent (o reconstruir tokens emmascarats). Dóna al model coneixement general del món.
Prompt Text d'entrada que s'envia a un LLM per obtenir una resposta. Inclou les instruccions, el context i la pregunta de l'usuari. El disseny del prompt (prompt engineering) té un impacte crucial en la qualitat de la resposta.
Prompt Engineering Disciplina de dissenyar i optimitzar prompts per obtenir millors respostes dels LLM. Inclou tècniques com few-shot prompting, Chain-of-Thought, instruccions de rol o estructuració de la sortida.
R¶
RAG (Retrieval Augmented Generation) Arquitectura que combina un sistema de cerca (recuperació de documents rellevants d'una base de coneixement) amb un LLM (generació de la resposta). Redueix al·lucinacions i permet incorporar coneixement actualitzat.
ReAct (Reasoning + Acting) Patró d'agent que alterna cicles de: Thought (raonament intern) → Action (execució d'una eina) → Observation (resultat) → fins arribar a la resposta final. Fa el raonament explícit i traçable.
RNN (Recurrent Neural Network) Xarxa neuronal dissenyada per a seqüències. Processa els tokens un a un, mantenint un "estat ocult" que resumeix el context anterior. Limitada per processament seqüencial i gradient que desapareix en seqüències llargues.
RLHF (Reinforcement Learning from Human Feedback) Tècnica d'alineació que usa preferències humanes per entrenar un model de recompensa, i després optimitza el LLM per maximitzar aquesta recompensa via aprenentatge per reforç. Base d'InstructGPT, ChatGPT i Claude.
S¶
Scaling Law Relació matemàtica (Kaplan et al., 2020; Hoffmann et al., 2022) entre mida del model, volum de dades d'entrenament i rendiment. La llei de Chinchilla estableix ~20 tokens per paràmetre com a ràtio òptim.
Self-attention Mecanisme pel qual cada token d'una seqüència calcula una puntuació d'atenció respecte a tots els altres tokens de la mateixa seqüència. Permet capturar dependències a llarga distància en un sol pas.
System Prompt Instrucció inicial invisible per a l'usuari que estableix el rol, les restriccions i el comportament de l'agent o assistent. Exemple: "Ets un assistent expert en ciberseguretat. Respon sempre en català."
T¶
Temperature Hiperparàmetre d'inferència (0.0–2.0) que controla l'aleatorietat de la generació. Temperature 0 = resposta determinista (sempre el token més probable). Temperature alta = respostes més creatives però menys previsibles.
Token Unitat mínima de text que processa un LLM. No és exactament una paraula: pot ser una síl·laba, una paraula sencera o un signe de puntuació, depenent del tokenitzador. Aproximadament:
| Idioma | Relació token/paraula |
|---|---|
| Anglès | ~1 token = 0.75 paraules |
| Català / Castellà | ~1 token = 0.5–0.6 paraules |
| Xinès / Japonès | ~1 token = 0.3–0.5 paraules |
Transformer Arquitectura neuronal publicada per Google Brain el 2017 ("Attention Is All You Need"). Substitueix la recurrència per mecanismes d'atenció, permetent processar tots els tokens en paral·lel. Base de tots els LLM moderns.
V¶
Vector Store Base de dades especialitzada en emmagatzemar i cercar vectors (embeddings) per similitud semàntica (distància cosinus, producte escalar). Exemples: ChromaDB, Pinecone, Weaviate, pgvector.
Z¶
Zero-shot / Few-shot Prompting - Zero-shot: el model resol una tasca sense cap exemple previ. Només instruccions. - Few-shot: s'inclouen 2-5 exemples de parells entrada-sortida al prompt perquè el model entengui el format esperat. Millora notablement el rendiment en tasques específiques.