Apprentissage Statistique

Transparents Cours

http://www-connex.lip6.fr/~gallinar/gallinari/pmwiki.php?n=Teaching.Main

Petit guide de la back-propagation en Torch

guide_lua

TP 1 – Prise en main de LUA et Torch – Descente de Gradient

• as_tp1_20162017
• Ressources : tp1_20162017
• Petit guide (en cours d’écriture) : guide_AS

TP 2 – Mini-batch, train/test et implémentation de critère

• as_tp2_20162017
• Ressources : load_mnist

TP 3 – Non-linéarité et Critères

• as_tp3_20162017

TP 4 – Implémentation des modules

• as_tp4_20162017

TP5 – Graphes de calcul

• as_tp5

TP6 – Graphes de calcul et intro au RNNs

 

• Implémentation des GRUs, section 3.2 de http://arxiv.org/pdf/1412.3555v1.pdf
• as_tp6

• as_tp_sequences.tar
• Autres infos: http://karpathy.github.io/2015/05/21/rnn-effectiveness/

TP7 – RNNs

 

TP8 – TD 1

• td1
• Cours de G. Gasso sur l’optim sous contraintes
• Cours de S. Canu 

TP9/10 – Modèles stochastiques

• tp9
• Articles : https://arxiv.org/pdf/1506.05254v3.pdf, https://arxiv.org/pdf/1410.0510v1.pdf, http://incompleteideas.net/sutton/williams-92.pdf

TP 11/12 – Apprentissage par Renforcement (Deep, of course)

• as_tp_rl
• Environnements : https://github.com/Kaixhin/rlenvs

TP 13 -TD 2

•  exam arf 2014

Projet Deep Learning

Guidelines

Vous sélectionnerez (en binôme)  un article/projet parmi ceux ci-dessous. Les projets comportent trois aspects  :

• un aspect théorique : vous devrez comprendre la problèmatique de l’article, le contexte de cette problèmatique, les contributions et les limites des approches proposées;
• un aspect expérimental : vous devrez définir un plan d’expériences pour illustrer et discuter  les approches décrites dans l’article choisi, trouver les données adéquates, synthétiser et commenter vos résultats;
• un aspect dév. : vous mettrez en oeuvre le plan expérimental défini en produisant un code soigné.

En plus du code, un rapport final est demandé, qui synthétisera l’aspect théorique et expérimental. Il est bien sûr grandement conseillé de faire un peu de bilbiographie et de lire les articles connexes.

Deadlines :

• 29/11/2016 – rapport intermédiaire
  vous décrirez 1) le contexte, la problèmatique, les contributions de l’article choisi (2 pages environ); 2) le plan d’expérience que vous comptez mener, les données que vous comptez utiliser (2 pages max).
• A définir – rapport final + code

 Sujets :

Titre	Sujet	Difficulté	Fiabilité du Prof	Fun
OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER	Une nouvelle cellule de mixture pour les réseaux de neurones. A priori peut fonctionner sur les peits jeux de données (voir article: Deep Sequential Neural Networks qui ressemble beaucoup)	2/5	2/5	2/5
Auto-Encoding Variational Bayes	Pour ceux qui aiment un peu les maths. Permet de générer des images	4/5	5/5	4/5
Generative Adversarial Nets — 1406.2661v1	La version moins matheuse pour générer des images, mais difficile à faire converger	3/5	5/5	4/5
MEMORY NETWORKS	Pour faire du Question Answering. Modèles à mémoire	3/5	3/5	4/5
Neural Turing Machines	Une machine de turing dérivable	5/5	5/5	5/5
Pixel Recurrent Neural Networks	Pour traiter les images pixels par pixels	2/5	4/5	4/5
HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS	Traitement de séquences par RNN héirarchiques	3/5	3/5	3/5
WAVENET: A GENERATIVE MODEL FOR RAW AUDI	Génération Audio	3/5 (ATTENTION = puissance de calcul nécessaire)	4/5	4/5
LEARNING TO PROTECT COMMUNICATIONS WITH ADVERSARIAL NEURAL CRYPTOGRAPHY		3/5	2/5	entre 2 et 5/5
FRACTALNET: ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS	La version ultime des Highway networks	3/5	4/5	3/5