AMAL 2019-2020

Cours

  • Slides du cours : à venir

TME

  • Doc PyTorch
  • Avant chaque TME, penser à exécuter source /users/Enseignants/piwowarski/venv/amal/3.7/bin/activate afin de profiter de l’environnement avec tous les modules installés.
  • Le fichier requirements.txt pour python  : en particulier mettre à jour datamaestro de la manière suivante : pip install –user  –upgrade datamaestro_text datamaestro_ml datamaestro_image

Semaine 1

Objectifs : prise en main de pytorch, tensorboard, implémentation d’une fonction au sens de pytorch, régression et descente de gradient, dérivation chaînée.

Semaine 2

Objectifs : Graphe de calcul, Optimiseur et Module

Semaine 3

Objectifs : Modules, gestion de données, GPU et checkpointing

  • Enoncé
  • Highway networks à implémenter pour la semaine 4
  • Lisez l’article suivant : http://ruder.io/optimizing-gradient-descent/. Vous rendrez au TP  4 une page ́ donnant une description intuitive et succincte des différents algorithmes de descente de gradient disponibles et de leur grands principes (i.e batch, sgd, adagrad, adadelta, rmsprop, nag et adam).

Semaine 4

Objectifs : RNNs: classification de séquences, forecasting, génération de séquences, one-hot encoding

Semaine 5

Objectifs : Réseau convolutif 1D, padding, classification de sentiments

Semaine 6

Objectifs : LSTM/GRU, padding, packing, beam search.

Semaine 7

Objectifs : Seq2Seq, pack/pad sequences, LSTM/GRU de pytorch

 

Semaine 8

Objectifs : Normalisation, droupout

Semaine 9

Objectifs : Attention

Semaine 10

Objectifs : self-attention, transformer

Semaine 11

Ojbectifs : programmation GPU

Semaine 12

Objectifs : Recommandation, Réseaux Siamois, Triplet Loss et BPR

  • Enoncé
  • Code
  • pour mettre à jour datamaestro : pip3 install install datamaestro-text==2020.01.07 –user