Описание
Основы нейронных сетей тест Синергия МТИ>Все Ответы нейронные сети, оценка 90/100 баллов “Отлично”
Введение в нейронные сети
Полносвязные нейронные сети
Элементы теории оптимизации
Обучение нейронных сетей
Сверточные нейронные сети
Рекуррентные нейронные сети. 1 Часть
Рекуррентные нейронные сети. 2 Часть
Tips and Tricks
Pytorch
Векторные представления слов
Нейронные сети бывают следующих видов:
Полносвязные и рекуррентные
Рекуррентные, сверточные и трансформеры
Рекуррентные, сверточные, полносвязные и трансформеры
Задача классификации – это задача
Обучения с учителем
Обучения без учителя
Обучения с подкреплением
Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи
Минимизации средней нормы градиента эмпирического риска по весам модели
Минимизации эмпирического риска
Минимизации средней нормы матриц весов модели
Отметьте верные высказывания о функциях активации:
Функция активации сигмоида лежит в диапазоне [0,1] и может быть интерпретирована как вероятность, а потому часто используется для решения задач бинарной классификации. Функция ReLU – кусочно-линейная
Функция Leacky ReLU – всюду дифференцируема. Популярная функция активации гиперболический тангенс может быть использована, как решающая функция для задачи регрессии. Производная сигмоидальной функции не выражается аналитически через значение самой функции в данной точке
Все функции активации взаимозаменяемы вследствие того, что имеют одну и ту же область значений и область определения
Идея Momentum состоит в:
Вычислении градиента в точке, к которой алгоритм должен сойтись на текущем шаге, согласно посчитанному моментному члену, а не в той точке, откуда алгоритм производит шаг
Использовании идеи физической инерции посредством добавления моментных членов, “скоростей”
приближенном, а значит – более быстром (“моментальном”) вычислении градиентов в текущей
Нейронные сети, наиболее часто применяющиеся в CV – это
Полносвязные
Сверточные
Рекуррентные
Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:
Выбора семейства F
Оценки качества выбранной функции f из семейства F
Поиска наилучшей функции из семейства F
Производная сигмоиды выражается через саму сигмоиду аналитически, как
sigm’ = sigm(1 – sigm)
sigm’ = 5sigm^(5)
sigm’ = 100sigm/sin(sigm)
Метод подбора адаптированного learning rate на основе оценки исторических градиентов:
Nesterov Momentum
RMSProp
Adagrad
При прямом проходе через Feed Forward Neural Network:
Происходит обновление весов модели на основе градиентов, посчитанных на предыдущей итерации
Происходит выстраивание архитектуры модели посредством подбора числа слоев и их размеров
Сигнал передается посредством последовательного матричного умножения и применения нелинейных функций активации
Архитектура полносвязной нейронные сети основана на идее
обобщения низкоуровневых признаков и генерирования на их основе более высокоуровневых
Построения разделяющей гиперплоскости
Минимизации лосс-функции без использования градиентных методов
Начальная инициализация весов нейросети:
Должна быть константной для того, чтобы результаты обучения нейросети на одной и той же трейнинговой выборке были воспроизводимыми
Должна быть случайной для того, чтобы модель могла обучиться, не зануляя градиенты на определенном шаге, причем такой, что дисперсия сигнала не будет изменяться при проходе через слои нейросети.
Может быть любой
Лучший способ борьбы с переобучением:
Изменение архитектуры модели
Регуляризации
Увеличение количества данных
Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:
ADAM
Adagrad
Adadelta
Обучение с учителем характеризуется
Целью обучить агента принимать оптимальные решения в среде
Отсутствием размеченной выборки
Наличием размеченной выборки
Градиентные методы оптимизации
Представляют собой итерационные алгоритмы
Аналитически ищут решение задачи оптимизации
Вопреки названию, не используют градиенты
Условия Каруша-Куна-Таккера применимы для решения:
Любой задачи оптимизации
Задачи выпуклой оптимизации
Задачи оптимизации произвольной функции на выпуклом множестве Q
Все описанные в лекции алгоритмы обладают общим свойством. Каким?
Для всех требуется вычисление матрицы Гессе оптимизируемой функции
Для всех требуется вычисление градиентов оптимизированной функции
Для всех требуется подсчет значения оптимизируемой функции в данной точке
Функции активации в нейронных сетях:
Нелинейны (глобально) и вносят неоднородность в сигнал при прямом проходе
Линейны и нужны для проверки работоспособности модели
Активируют нейросеть в разных режимах работы
Переобучение – это эффект, возникающий при
Излишней сложности модели по отношению к сложности обучающей выборки, из-за чего происходит “заучивание” данных
Слишком долгом обучении модели, из-за чего она теряет свою предсказательную способность вследствие увеличения энтропии весов
Усталости специалиста по машинному обучению от того, что его модели слишком долго учатся
Алгоритм Backpropagation:
Состоит в случайном подборе весов модели до тех пор, пока не будет достигнут оптимальный набор параметров, минимизирующий ошибку
Используется только для оптимизации полносвязных нейросетей
Последовательном вычислении градиентов по весам модели, начиная с последнего слоя, по предактивациям соответствующего слоя и градиентам по весам следующего
Функции активации в нейронных сетях:
