as-2016-2017

Apprentissage Statistique

Transparents Cours

http://www-connex.lip6.fr/~gallinar/gallinari/pmwiki.php?n=Teaching.Main

Petit guide de la back-propagation en Torch

guide_lua

TP 1 – Prise en main de LUA et Torch – Descente de Gradient

TP 2 – Mini-batch, train/test et implémentation de critère

TP 3 – Non-linéarité et Critères

TP 4 – Implémentation des modules

TP5 – Graphes de calcul

TP6 – Graphes de calcul et intro au RNNs

 

  • Implémentation des GRUs, section 3.2 de http://arxiv.org/pdf/1412.3555v1.pdf
  • as_tp6

TP7 – RNNs

 

TP8 – TD 1

TP9/10 – Modèles stochastiques

TP 11/12 – Apprentissage par Renforcement (Deep, of course)

TP 13 -TD 2

Projet Deep Learning

Guidelines

Vous sélectionnerez (en binôme)  un article/projet parmi ceux ci-dessous. Les projets comportent trois aspects  :

  • un aspect théorique : vous devrez comprendre la problèmatique de l’article, le contexte de cette problèmatique, les contributions et les limites des approches proposées;
  • un aspect expérimental : vous devrez définir un plan d’expériences pour illustrer et discuter  les approches décrites dans l’article choisi, trouver les données adéquates, synthétiser et commenter vos résultats;
  • un aspect dév. : vous mettrez en oeuvre le plan expérimental défini en produisant un code soigné.

En plus du code, un rapport final est demandé, qui synthétisera l’aspect théorique et expérimental. Il est bien sûr grandement conseillé de faire un peu de bilbiographie et de lire les articles connexes.

Deadlines :
  • 29/11/2016 – rapport intermédiaire
    vous décrirez 1) le contexte, la problèmatique, les contributions de l’article choisi (2 pages environ); 2) le plan d’expérience que vous comptez mener, les données que vous comptez utiliser (2 pages max).
  • A définir – rapport final + code
 Sujets :
Titre
Sujet
Difficulté
Fiabilité du Prof
Fun
OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER Une nouvelle cellule de mixture pour les réseaux de neurones. A priori peut fonctionner sur les peits jeux de données (voir article: Deep Sequential Neural Networks qui ressemble beaucoup) 2/5 2/5 2/5
Auto-Encoding Variational Bayes Pour ceux qui aiment un peu les maths. Permet de générer des images 4/5 5/5 4/5
Generative Adversarial Nets1406.2661v1 La version moins matheuse pour générer des images, mais difficile à faire converger 3/5 5/5 4/5
MEMORY NETWORKS Pour faire du Question Answering. Modèles à mémoire 3/5 3/5 4/5
Neural Turing Machines Une machine de turing dérivable 5/5 5/5 5/5
Pixel Recurrent Neural Networks Pour traiter les images pixels par pixels 2/5 4/5 4/5
HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS Traitement de séquences par RNN héirarchiques 3/5 3/5 3/5
WAVENET: A GENERATIVE MODEL FOR RAW AUDI Génération Audio 3/5 (ATTENTION = puissance de calcul nécessaire) 4/5 4/5
LEARNING TO PROTECT COMMUNICATIONS
WITH ADVERSARIAL NEURAL CRYPTOGRAPHY
3/5 2/5 entre 2 et 5/5
FRACTALNET: ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS La version ultime des Highway networks 3/5 4/5 3/5