22. Приложение: Математика для глубокого обучения

Брент Вернесс (Amazon), Рэйчел Ху (Amazon) и авторы этой книги

Одним из замечательных особенностей современного глубокого обучения является то, что большую его часть можно понять и применять, не имея полного понимания лежащей в его основе математики. Это признак того, что область становится более зрелой. Так же как большинству разработчиков программного обеспечения больше не нужно беспокоиться о теории вычислимых функций, специалистам в области глубокого обучения не следует беспокоиться о теоретических основах обучения методом максимального правдоподобия.

Однако мы пока не достигли этой цели.

На практике вам иногда потребуется понимать, как архитектурные решения влияют на поток градиентов или какие неявные допущения вы вносите, обучая модель с помощью определённой функции потерь. Возможно, вам придётся разобраться, что именно измеряет энтропия и как она помогает понять, что именно означает «бит на символ» в вашей модели. Всё это требует более глубокого математического понимания.

В этом приложении мы стремимся предоставить вам математическую базу, необходимую для понимания основных теорий современного глубокого обучения, однако этот обзор не является исчерпывающим. Мы начнем с более детального изучения линейной алгебры. Мы разовьем геометрическое понимание всех распространенных объектов и операций линейной алгебры, что позволит нам визуализировать влияние различных преобразований на наши данные. ⟦A key element is the development of the basics of eigen-decompositions.⟧

Далее мы развиваем теорию дифференциального исчисления до уровня, достаточного для полного понимания того, почему градиент указывает направление наискорейшего спуска и почему обратное распространение имеет именно такую форму. Затем мы рассмотрим интегральное исчисление в объёме, необходимом для изучения следующей темы — теории вероятностей.

Проблемы, с которыми мы сталкиваемся на практике, часто носят вероятностный характер, поэтому нам необходим язык для описания неопределенных явлений. Мы рассмотрим теорию случайных величин и наиболее распространенные распределения, чтобы иметь возможность обсуждать модели с позиций теории вероятностей. Это послужит основой для наивного байесовского классификатора — вероятностного метода классификации.

Теории вероятностей тесно смежна теория статистики. Хотя статистика — слишком обширная область, чтобы полноценно раскрыть её в коротком разделе, мы введём фундаментальные понятия, которые должен знать каждый практик машинного обучения, а именно: оценку и сравнение оценщиков, проверку гипотез и построение доверительных интервалов.

Наконец, мы переходим к теории информации, которая представляет собой математическое изучение хранения и передачи информации. Она предоставляет основной язык, позволяющий количественно оценивать, сколько информации модель содержит об объекте исследования.

В совокупности они составляют основу математических концепций, необходимых для начала пути к глубокому пониманию глубокого обучения.