Preferences-driven alignment: DPO techniques for safety alignments in LLMs
È la mia tesi magistrale, fatta nel laboratorio MIND (si apre in una nuova scheda) dell’ateneo. Ho confrontato tre modelli linguistici open weight (Mistral, Llama e Gemma) prima e dopo l’allineamento con DPO e SafeDPO, due tecniche che insegnano al modello quale risposta preferire fra due, per capire quanto diventano più sicuri e quanto perdono in utilità: ho valutato 33 versioni su 9 benchmark, e le risposte dannose calano fino al 67%. Ho scritto io la pipeline che li addestra con QLoRA, li interroga, li fa giudicare da altri modelli e ne analizza i risultati sul cluster HPC dell’ateneo, con test automatici ed esperimenti ripetibili riga per riga.



















