Real-time collaboration for Jupyter Notebooks, Linux Terminals, LaTeX, VS Code, R IDE, and more,
all in one place. Commercial Alternative to JupyterHub.
Real-time collaboration for Jupyter Notebooks, Linux Terminals, LaTeX, VS Code, R IDE, and more,
all in one place. Commercial Alternative to JupyterHub.
Path: blob/main/transformers_doc/it/training.ipynb
Views: 2542
Fine-tuning di un modello pre-addestrato
Ci sono benefici significativi nell'usare un modello pre-addestrato. Si riducono i costi computazionali, l'impronta di carbonio e ti consente di usare modelli stato dell'arte senza doverli addestrare da zero. 🤗 Transformers consente l'accesso a migliaia di modelli pre-addestrati per un'ampia gamma di compiti. Quando usi un modello pre-addestrato, lo alleni su un dataset specifico per il tuo compito. Questo è conosciuto come fine-tuning, una tecnica di addestramento incredibilmente potente. In questa esercitazione, potrai fare il fine-tuning di un modello pre-addestrato, con un framework di deep learning a tua scelta:
Fine-tuning di un modello pre-addestrato con 🤗 Transformers
Trainer
.Fine-tuning di un modello pre-addestrato in TensorFlow con Keras.
Fine-tuning di un modello pre-addestrato con PyTorch.
Preparare un dataset
Prima di poter fare il fine-tuning di un modello pre-addestrato, scarica un dataset e preparalo per l'addestramento. La precedente esercitazione ti ha mostrato come processare i dati per l'addestramento e adesso hai l'opportunità di metterti alla prova!
Inizia caricando il dataset Yelp Reviews:
Come già sai, hai bisogno di un tokenizer per processare il testo e includere una strategia di padding e truncation per gestire sequenze di lunghezza variabile. Per processare il dataset in un unico passo, usa il metodo map
di 🤗 Datasets che applica la funzione di preprocessing all'intero dataset:
Se vuoi, puoi creare un sottoinsieme più piccolo del dataset per il fine-tuning così da ridurre il tempo necessario:
Addestramento
🤗 Transformers mette a disposizione la classe Trainer
ottimizzata per addestrare modelli 🤗 Transformers, rendendo semplice iniziare l'addestramento senza scrivere manualmente il tuo ciclo di addestramento. L'API Trainer
supporta un'ampia gamma di opzioni e funzionalità di addestramento come logging, gradient accumulation e mixed precision.
Inizia caricando il tuo modello e specificando il numero di etichette (labels) attese. Nel dataset Yelp Review dataset card, sai che ci sono cinque etichette:
Potresti vedere un warning dato che alcuni dei pesi pre-addestrati non sono stati utilizzati e altri pesi sono stati inizializzati casualmente. Non preoccuparti, è completamente normale! L'head pre-addestrata del modello BERT viene scartata e rimpiazzata da una classification head inizializzata casualmente. Farai il fine-tuning di questa nuova head del modello sul tuo compito di classificazione, trasferendogli la conoscenza del modello pre-addestrato.
Iperparametri per il training
Successivamente, crea una classe TrainingArguments
contenente tutti gli iperparametri che si possono regore nonché le variabili per attivare le differenti opzioni di addestramento. Per questa esercitazione puoi iniziare con gli iperparametri di ddestramento predefiniti, ma sentiti libero di sperimentare per trovare la configurazione ottimale per te.
Specifica dove salvare i checkpoints del tuo addestramento:
Metriche
Trainer
non valuta automaticamente le performance del modello durante l'addestramento. Dovrai passare a Trainer
una funzione che calcola e restituisce le metriche. La libreria 🤗 Datasets mette a disposizione una semplice funzione accuracy
che puoi caricare con la funzione load_metric
(guarda questa esercitazione per maggiori informazioni):
Richiama compute
su metric
per calcolare l'accuratezza delle tue previsioni. Prima di passare le tue previsioni a compute
, hai bisogno di convertirle in logits (ricorda che tutti i modelli 🤗 Transformers restituiscono logits):
Se preferisci monitorare le tue metriche di valutazione durante il fine-tuning, specifica il parametro evaluation_strategy
nei tuoi training arguments per restituire le metriche di valutazione ad ogni epoca di addestramento:
Trainer
Crea un oggetto Trainer
col tuo modello, training arguments, dataset di training e test, e funzione di valutazione:
Poi metti a punto il modello richiamando train()
:
I modelli 🤗 Transformers supportano anche l'addestramento in TensorFlow usando l'API di Keras.
Convertire dataset nel formato per TensorFlow
Il DefaultDataCollator
assembla tensori in lotti su cui il modello si addestrerà. Assicurati di specificare di restituire tensori per TensorFlow in return_tensors
:
Trainer
usa DataCollatorWithPadding
in maniera predefinita in modo da non dover specificare esplicitamente un collettore di dati.
Successivamente, converti i datasets tokenizzati in TensorFlow datasets con il metodo to_tf_dataset
. Specifica il tuo input in columns
e le tue etichette in label_cols
:
Compilazione e addestramento
Carica un modello TensorFlow col numero atteso di etichette:
Poi compila e fai il fine-tuning del tuo modello usando fit
come faresti con qualsiasi altro modello di Keras:
Addestramento in PyTorch nativo
Trainer
si occupa del ciclo di addestramento e ti consente di mettere a punto un modello con una sola riga di codice. Per chi preferisse scrivere un proprio ciclo di addestramento personale, puoi anche fare il fine-tuning di un modello 🤗 Transformers in PyTorch nativo.
A questo punto, potresti avere bisogno di riavviare il tuo notebook o eseguire il seguente codice per liberare un po' di memoria:
Successivamente, postprocessa manualmente il tokenized_dataset
per prepararlo ad essere allenato.
Rimuovi la colonna
text
perché il modello non accetta testo grezzo come input:Rinomina la colonna
label
inlabels
perché il modello si aspetta che questo argomento si chiamilabels
:Imposta il formato del dataset per farti restituire tensori di PyTorch all'interno delle liste:
Poi crea un piccolo sottocampione del dataset come visto precedentemente per velocizzare il fine-tuning:
DataLoader
Crea un DataLoader
per i tuoi datasets di train e test così puoi iterare sui lotti di dati:
Carica il tuo modello con il numero atteso di etichette:
Ottimizzatore e learning rate scheduler
Crea un ottimizzatore e il learning rate scheduler per fare il fine-tuning del modello. Usa l'ottimizzatore AdamW
di PyTorch:
Crea il learning rate scheduler predefinito da Trainer
:
Infine specifica come device
da usare una GPU se ne hai una. Altrimenti, l'addestramento su una CPU può richiedere diverse ore invece di un paio di minuti.
Ottieni l'accesso gratuito a una GPU sul cloud se non ne possiedi una usando un notebook sul web come Colaboratory o SageMaker StudioLab.
Ottimo, adesso possiamo addestrare! 🥳
Training loop
Per tenere traccia dei tuoi progressi durante l'addestramento, usa la libreria tqdm per aggiungere una progress bar sopra il numero dei passi di addestramento:
Metriche
Proprio come è necessario aggiungere una funzione di valutazione del Trainer
, è necessario fare lo stesso quando si scrive il proprio ciclo di addestramento. Ma invece di calcolare e riportare la metrica alla fine di ogni epoca, questa volta accumulerai tutti i batch con add_batch
e calcolerai la metrica alla fine.
Altre risorse
Per altri esempi sul fine-tuning, fai riferimento a:
🤗 Transformers Examples include scripts per addestrare compiti comuni di NLP in PyTorch e TensorFlow.
🤗 Transformers Notebooks contiene diversi notebooks su come mettere a punto un modello per compiti specifici in PyTorch e TensorFlow.