Votre environnement de travail doit être mis en place en suivant les instructions sur cette page.
TD
TME
Semaine 1
Objectifs : prise en main de pytorch, implémentation d’une fonction au sens de pytorch, descente de gradient, dérivation chaînée, Autograd
Enoncé
Fichiers source/squelette
Lien données California Housing
Tuto pytorch vs numpy
Tuto tensorboar
Semaine 2
Objectifs : Modules, tensorboard, GPU, checkpointing, Dataset, Dataloader
Blog sur les différents algorithmes de descente du gradient
Semaine 3
Objectifs : Réseaux récurrents, classification de séquences, forecasting, génération de texte, softmax, cross entropie et embeddings (intro).
Semaine 4
Objectifs : LSTM et GRU, padding, batch de séquences de tailles variables, beam-search
Semaine 5
Objectifs : Seq2Seq, Tagging et Traduction, RNN PyTorch, Curiculum Learning
Semaine 6
Objectifs : Protocole expérimentale, régularisation L1, L2 , dropout, batchnorm, layernorm, lightning, optuna
Semaine 7
Objectifs : CNN et classification de sentiments
Données (sur kaggle ou hugging face)
Semaine 8
Objectifs : Attention globale
Semaine 9
Objectifs : Self-Attention, Positional Embeddings, transformers