Strojové učení II (SU2)

Rozsah v ZS: 2/2 Zk
Platnost: od 2021
Přednášející: Šroubek F. (přednášky), Kerepecký T., Novozámský A. (cvičení)
Prerekvizity: Strojové učení I / Úvod do strojového učení (SU1/USU
Navazující předměty: Speciální funkce a transformace ve zpracování obrazu (SFTO), Variační metody ve zpracování obrazu (NPGR029)
Informace: odkaz na web předmětu

Anotace

Předmět je přímým pokračováním úvodního kurzu Úvod do strojového učení (USU) . Náplní předmětu jsou pokročilé metody strojového učení, jako jsou rozhodovací stromy a zvláště pak principy hlubokého učení. Kromě teorie učení a optimalizace hlubokých sítí budou představeny různé architektury sítí a aplikace.

Osnova

  • Základní pojmy v oblasti teorie pravděpodobnosti a strojového učení (vybrané typy rozdělení, Bayesova věta, KL divergence, prokletí dimensionality, přetrénování, ML a MAP odhad, PCA)
  • Rozhodovací stromy: obecné schéma, rekurzivní dělení, nejlepší dělení a prořezávání, kombinace klasifikátorů - bagging vs. boosting, náhodné lesy.
  • Příklady rozhodovacích stromů: Adaptive boosting – AdaBoost, Gradient boosting, Xgboost.
  • Numerické metody optimalizace (metody největšího spádu, konjugovaných gradientů a Newtonovy, vázaný extrém, Lagrangeova funkce)
  • Hluboké dopředné neuronové sítě (skryté vrstvy, nelineární aktivační funkce, výstupní vrstvy, optimalizační funkcionál, stochastická metoda největšího spádu, back-propagation algoritmus)
  • Optimalizace pro učení hlubokých sítí (regularizace, algoritmy s adaptivním parametrem učení)
  • Konvoluční neuronové sítě
  • Rekurentní neuronové sítě
  • Pokročilé architektury sítí (autokodéry, GAN,...)
  • Aplikace hlubokého učení (klasifikace, segmentace, rekonstrukce obrazu,….)

Literatura

  • Goodfellow I., Bengio Y., Courville A.: Deep Learning, MIT Press, 2016.
  • Bishop, Christopher M.: Pattern Recognition and Machine Learning. Springer, 2006.


Machine Learning II

Anotation

The course topic are advanced machine learning methods with primary focus on deep learning. Apart from the the theory of deep learning and optimization of deep neural networks, we present various network architectures and applications.

Syllabus

  • Fundamental topics from the probability theory and machine learning (classical distributions, Bayes’ theorem, Kullback-Leibler divergence, curse of dimensionality, overfitting, maximum likelihood and maximum a posteriori estimators, Principle Component Analysis).
  • Fundamental topics from the probability theory and machine learning (classical distributions, Bayes’ theorem, Kullback-Leibler divergence, curse of dimensionality, overfitting, maximum likelihood and maximum a posteriori estimators, Principle Component Analysis).
  • Examples of decision trees: Adaptive boosting – AdaBoost, Gradient boosting, Xgboost.
  • Numerical methods for optimization (steepest descent, conjugate gradient, Newton and quasi-Newton, constrained extrema, Lagrangian).
  • Deep feedforward networks (hidden units, nonlinear activation functions, output units, loss functional, stochastic gradient descent, back-propagation algorithm).
  • Optimization for training deep models (regularization, algorithms with adaptive learning rates).
  • Convolutional neural networks.
  • Recurrent neural network.
  • Advanced network architectures (autoencoders, Generative Adversarial networks).
  • Applications of deep learning (classification, segmentation, image reconstruction).