#pragma css /css/2017.css
<<BI>>

= Факультатив по машинному обучению =

== Рекомендованная литература: ==

 1. [[ https://www.deeplearningbook.org/ | Deep Learning ]] by Ian Goodfellow, Yoshua Bengio, Aaron Courville - книга про глубокое машинное обучение, разобраны почти все идеи из области нейросетей
 2. [[ https://web.stanford.edu/~hastie/ElemStatLearn/ | The Elements of Statistical Learning ]] by Trevor Hastie, Robert Tibshirani, and Jerome Friedman - книга в основном по классическому машинному обучению, одна из лучших
 3. Hands-on Machine Learning with Scikit-Learn, Keras and TensorFlow, Aurélien Géron - хорошая книга с отдельным github под нее (https://github.com/ageron/handson-ml2)
 4. Machine Learning: a Probabilistic Perspective by Kevin Patrick Murphy
 5. Pattern Recognition and Machine Learning by Christopher M. Bishop - классическое машинное обучение,  местами сложновато

Также вам могут понравиться видео с канала [[ https://www.youtube.com/channel/UCtYLUTtgS3k1Fg4y5tAhLbw | StatQuest]]

== Программа курса ==

 1. [[ https://drive.google.com/drive/folders/1lkUN8HZ4W7Q6hi-bQD9-QZKvjcwthvqs?usp=sharing | Лекция ]] Машинное обучение. Виды задач, примеры. Машинное обучение в биологии.

 2. [[https://colab.research.google.com/drive/1L0CTnKg_8H-AD_9lGHcgOWPApn9amwXi?usp=sharing | Лекция ]] Переобучение, недообучение. Метод k-ближайших соседей. Регрессии. Классификации.  Оценка качества модели. Популярные метрики (Accuracy, AUC ROC, AUC PR, MSE, MAE). Разбиение на обучение и тест. Bias-variance tradeoff. [[https://colab.research.google.com/drive/1dFhQV5mcXUi5OMeNU04ae5y54cnE-mhi?usp=sharing | Домашняя работа 1]] Дедлайн: 23.03.2021, 23:59
 3. [[https://colab.research.google.com/drive/1n18nHx_TfymEcbYFTklXEtf-ERFxw_NC?usp=sharing | Лекция]] Линейная регрессия. Метод максимального правдоподобия. Градиентный спуск. Стохастический градиентный спуск. Регуляризация. L1, L2. Elastic net. Логистическая. Softmax. [[ https://colab.research.google.com/drive/1KAPF4_5drVLsh7KreDtySzshOnA0bRn9?usp=sharing | Домашняя работа 2 ]] Дедлайн: 30.03.2021, 23:59
 4. [[ https://colab.research.google.com/drive/1VxI3Gq6NR9x2uTFvKT-o7gHickIwt4hi?usp=sharing | Лекция ]] Гиперпараметры. Кросс-валидация. Отбор признаков. [[ https://colab.research.google.com/drive/1lNaD4QZA4xYfpxtsX60jB9j8UskX5Vch?usp=sharing | Домашняя работа 3 ]] Дедлайн: 06.04.2021, 23:59
 5. [[ https://colab.research.google.com/drive/18bEcdnntxEerPj3qoVY8zJTWUU2W0NVt?usp=sharing | Лекция ]]. Метод опорных векторов. SVM. Kernel trick. [[ https://colab.research.google.com/drive/1ZKtHUNp0jmgtCPQ1D_9eGEt7w7Uf6q71?usp=sharing | Домашняя работа 4]]. Дедлайн: 27.04.2021
 6. [[ https://colab.research.google.com/drive/1Pa6NNfw_VT2AEd-cx6BWHh20qS6vd5Fu?usp=sharing | Лекция ]]. Снижение размерности, линейный и нелинейные методы. Кластеризация. [[ https://colab.research.google.com/drive/1v7fsWpRL15NdzXAYe4PTmOXdClvWO7C_?usp=sharing | Домашняя работа 5]] Дедлайн: 20.04.2021, 23:59
 7. [[ https://colab.research.google.com/drive/1U0dNUEUpUuORbjrdCyCG3kMsdcGN5JKc?usp=sharing | Лекция ]]. Решающие деревья. Категориальные признаки и работа с ними. Пропущенные значения и работа с ними. Понятие ансамбля и виды ансамблей. Бэггинг и метод случайных подпространств. Случайный лес. [[ https://colab.research.google.com/drive/1tVMj9WjCJK59RhHh8qwlpl84-erKxslE?usp=sharing | Домашняя работа 6]] Дедлайн: 30.04.2021, 23:59
 8. [[ https://colab.research.google.com/drive/1BlUKsBrQoRn6tu7CYOrj_6Sdsd9uwmGk?usp=sharing  | Лекция ]]. AdaBoost. Градиентный бустинг. Модификации градиентного бустинга (xgboost, lightgbm, catboost). Блендинг и стекинг. [[ https://colab.research.google.com/drive/1kaLGHhpKnmvdGQgfRlzl-3lD7nR2P99w?usp=sharing | Домашняя работа 7]] Дедлайн: до зачета, это дополнительное дз
 9. [[ https://colab.research.google.com/drive/1qqOxG9PkNG9rTmJyrqot7uO3poTPaENl?usp=sharing | Лекция ]] Оценка важности признаков в модели. Перестановочный метод. Boruta.  SHAP. [[ https://colab.research.google.com/drive/1iS93krpzj30nd184sP4PH2S7aMmPCn1U?usp=sharing | Домашняя работа 8 ]] Дедлайн: до зачета, это дополнительное дз
 10. [[ https://colab.research.google.com/drive/1PFNrB9J62IK8fYpZvRRqcNgARz9Y_Mm0?usp=sharing | Лекция ]] Нейронные сети, [[ https://pytorch.org/docs/stable/index.html | PyTorch ]]. [[ https://colab.research.google.com/drive/1ZMyKCIC6WUz5QUAk_3b7-amu7uJyNp00?usp=sharing | Домашняя работа 9 ]]
 11. [[ https://colab.research.google.com/drive/1kp06LUmahEU9ebSMWI7Z8aRgahQ1yjlB?usp=sharing | Лекция ]] Сверточные нейронные сети. Применение в биологии
 12. [[ https://colab.research.google.com/drive/1p1GFPHBKbCsUNHiFutQmAATQjJB5BStj?usp=sharing | Лекция ]] Улучшение сходимости нейросетей и борьба с переобучением
 13. [[ https://colab.research.google.com/drive/1syue0vZMB0yVTPLbqEzWZjmOpSFZr3Gt?usp=sharing | Лекция ]]. Автоенкодеры. VAE. CVAE
 14. [[ https://colab.research.google.com/drive/1l_hGgssk1IYMgp-Zgc2lHnETdqBAp5jt?usp=sharing | Лекция ]] Рекуррентные нейронные сети. Механизм attention.