Deep Learning

What you will learn

At the end of this course, you will be able to:

vous comprendrez le fonctionnement et l’apprentissage des réseaux de neurones profonds, ainsi que l’importance de la convolution,
vous comprendrez les raisons historiques de leur succès récent, ainsi que les évolutions récentes du domaine,
vous maîtriserez les enjeux pour le déploiement massifs des algorithmes de deep learning, ainsi que les outils logiciels modernes
vous saurez comment appliquer les méthodes de deep learning avec peu de données d’apprentissage, et comprendrez les questions ouvertes actuelles.

Description

Vous êtes passionnés d’intelligence artificielle, et attirés par les succès spectaculaires récemment obtenus par le « deep learning » (reconnaissance vocale, classification d’image, jeu de GO, etc) : ce Mooc est pour vous !

Ce Mooc présente les réseaux de neurones profonds, qui constituent les fondements du « deep learning», et leur utilisation pour des problèmes de reconnaissance et classification de données. Un accent particulier sera porté aux données pauvres en sémantique comme les images.

Format

Chaque module se compose de 5 à 6 séquences vidéos, de 10 minutes chacune en moyenne, suivies d'une ou deux questions qui permettent aux apprenants de faire le point sur leurs acquis.

Le professeur parle en français sur des supports de cours anglais.

Pour chaque séquence, des discussions sont ouvertes sur le forum. Les retours hebdomadaires aux principales questions posées sur les forums se feront en direct par webconférence.

Les inscrits auront accès à tous les contenus (vidéos, documents et quizz) dès l’ouverture du Mooc et conserveront l’accès même après sa fermeture.

Prerequisites

Ce cours requiert des connaissances de bases en calcul différentiel et en statistiques, de niveau premier cycle universitaire scientifique.

Assessment and certification

Des épreuves hebdomadaires et une épreuve terminale de type QCM, permettent l’obtention de l’attestation de suivi avec succès.

Course plan

- o Introduction and Context
  o The Formal Neuron
  o Neural Networks
  o Supervised Machine Learning.
  o Gradient Error Backpropagation Algorithm
  o Training Issues
- o Introduction to Convolutionnal Neural Networks
  o Convolution
  o Convolution Properties
  o Pooling
  o Convolution Layer
  o Convolution Hierarchies and Convolutional Neural Networks
- o Modeling Capacities
  o Representation Learning with ConvNets
  o Manifold Untangling and Visualization
  o Deep Learning Weaknesses
  o Success Deep Learning History
  o Deep Learning Winter History
- o Deep Learning Renewal
  o Modern Convolutional Neural Network Modules
  o Modern Training and Regularization
  o Modern Convolutional Neural Network Architectures
  o Residual Architectures
  o Other Modern Deep Learning Components
- o Optimization Issues
  o Advanced Optimization
  o Implementations Issues
  o Deep Learning Resources
  o Deep Learning Resources: Keras
- o Deep Features
  o Transfer Learning
  o Localization and Segmentation
  o Unsupervised Learning
  o Vision and Langage
  o Deep Learning Theory

Course runs

Archived

From March 12, 2018 to April 23, 2018
From March 11, 2019 to April 22, 2019
From Nov. 2, 2020 to Dec. 13, 2020

Course team

Nicolas Thomas

La Fabrique à MOOC du CNAM

Organizations

Conservatoire National des Arts et Métiers

Hesam Université

License

License for the course content

Attribution-NonCommercial-ShareAlike

You are free to:

Share — copy and redistribute the material in any medium or format
Adapt — remix, transform, and build upon the material

Under the following terms:

Attribution — You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
NonCommercial — You may not use the material for commercial purposes.
ShareAlike — If you remix, transform, or build upon the material, you must distribute your contributions under the same license as the original.