Cours
- Slides du cours : à venir
TME
- Doc PyTorch
- Avant chaque TME, penser à exécuter source /users/Enseignants/piwowarski/venv/amal/3.7/bin/activate afin de profiter de l’environnement avec tous les modules installés.
- Le fichier requirements.txt pour python : en particulier mettre à jour datamaestro de la manière suivante : pip install –user –upgrade datamaestro_text datamaestro_ml datamaestro_image
Semaine 1
Objectifs : prise en main de pytorch, tensorboard, implémentation d’une fonction au sens de pytorch, régression et descente de gradient, dérivation chaînée.
- Enoncé
- Fichier source tp1 (à renommer en .py)
- Lien données Boston Housing
- Tuto pytorch vs numpy
- Tuto tensorboard
Semaine 2
Objectifs : Graphe de calcul, Optimiseur et Module
Semaine 3
Objectifs : Modules, gestion de données, GPU et checkpointing
- Enoncé
- Highway networks à implémenter pour la semaine 4
- Lisez l’article suivant : http://ruder.io/optimizing-gradient-descent/. Vous rendrez au TP 4 une page ́ donnant une description intuitive et succincte des différents algorithmes de descente de gradient disponibles et de leur grands principes (i.e batch, sgd, adagrad, adadelta, rmsprop, nag et adam).
Semaine 4
Objectifs : RNNs: classification de séquences, forecasting, génération de séquences, one-hot encoding
Semaine 5
Objectifs : Réseau convolutif 1D, padding, classification de sentiments
Semaine 6
Objectifs : LSTM/GRU, padding, packing, beam search.
Semaine 7
Objectifs : Seq2Seq, pack/pad sequences, LSTM/GRU de pytorch
Semaine 8
Objectifs : Normalisation, droupout
Semaine 9
Objectifs : Attention
Semaine 10
Objectifs : self-attention, transformer
Semaine 11
Ojbectifs : programmation GPU
Semaine 12
Objectifs : Recommandation, Réseaux Siamois, Triplet Loss et BPR
- Enoncé
- Code
- pour mettre à jour datamaestro : pip3 install install datamaestro-text==2020.01.07 –user