5. Многослойные перцептроны¶
В этой главе мы познакомимся с вашей первой по-настоящему глубокой сетью. Простейшие глубокие сети называются многослойными перцептронами. Они состоят из нескольких слоёв нейронов, каждый из которых полностью связан с нейронами слоя ниже (от которых они получают входные данные) и слоя выше (которые, в свою очередь, влияют). Хотя автоматическое дифференцирование значительно упрощает реализацию алгоритмов глубокого обучения, мы подробно разберём, как вычисляются градиенты в глубоких сетях. Затем мы будем готовы обсудить вопросы, связанные с численной устойчивостью и инициализацией параметров, которые имеют ключевое значение для успешного обучения глубоких сетей. При обучении таких моделей с высокой ёмкостью мы рискуем столкнуться с переобучением. Поэтому мы вернёмся к рассмотрению регуляризации и обобщающей способности для глубоких сетей. На протяжении всей главы мы стремимся дать вам не только чёткое понимание концепций, но и практические навыки использования глубоких сетей. В конце этой главы мы применим всё, что было введено до сих пор, к реальному случаю: прогнозированию цен на жильё. Вопросы, связанные с вычислительной производительностью, масштабируемостью и эффективностью наших моделей, мы отложим до последующих глав.