Expressivité & Approximation Universelle des Réseaux Neurones
Théorèmes d'approximation universelle, compromis profondeur-largeur et expressivité des architectures modernes.
Neural network architectures, language models, and applied deep learning.
28
Cours
4
Subcategories
1225h+
Heures Totales
Tous niveaux
Plage de Difficulté
Expressivité & Approximation Universelle des Réseaux Neurones
Théorèmes d'approximation universelle, compromis profondeur-largeur et expressivité des architectures modernes.
Surparamétrisation, NTK & Limites de Champ Moyen
Analysez les réseaux surparamétrisés via le noyau tangent neural et la théorie du champ moyen.
Biais Implicite de SGD & Géométrie du Paysage de Perte
Comment les algorithmes d'optimisation régularisent implicitement : maximisation de marge, minima plats et bord de stabilité.
Généralisation & Double Descente dans les Réseaux Profonds
Théorie moderne de la généralisation : interpolation, double descente et surajustement bénin dans l'apprentissage profond.
Invariance, Équivariance & Représentations Théoriques de Groupes
Concevez des architectures neuronales avec des symétries intégrées en utilisant la théorie des représentations de groupes.
Théorie des Transformateurs & Modélisation de Séquences
Analyse théorique des architectures de transformateurs : mécanismes d'attention, encodage positionnel et expressivité.
Réseaux Convolutionnels & Spectraux
Théorie des CNNs : équivariance de translation, méthodes spectrales et connexions aux transformations de diffusion.
Régularisation, Minima Plat & Théorie Sensible à la Netteté
Techniques de régularisation et leur lien avec les minima plats pour une meilleure généralisation.
Robustesse Adversariale & Défenses Certifiées
Théorie des exemples adversariaux, certificats de robustesse et défenses certifiées pour les réseaux neuronaux.
Hypothèse du Billet de Loterie & Théorie de l'Élagage
Sous-réseaux épars, billets de loterie et fondements théoriques de l'élagage des réseaux neuronaux.
Compression, Quantification & Goulot d'étranglement de l'information
Théorie de la compression des réseaux neuronaux : quantification, distillation et perspectives informationnelles.
Apprentissage de Représentations Multimodales
Théorie de l'apprentissage de représentations conjointes à travers le texte, les images et d'autres modalités.