3. Линейные нейронные сети для регрессии¶
Прежде чем переходить к созданию глубоких нейронных сетей, полезно реализовать их неглубокие аналоги, в которых входы напрямую соединены с выходами. Это важно по нескольким причинам. Во-первых, отвлекаясь на сложные архитектуры, мы сможем сосредоточиться на основах обучения нейронных сетей, включая параметризацию выходного слоя, обработку данных, задание функции потерь и обучение модели. Во-вторых, этот класс неглубоких сетей представляет собой множество линейных моделей, которые включают в себя многие классические методы статистического прогнозирования, в том числе линейную регрессию и софтмакс-регрессию. Понимание этих классических инструментов имеет ключевое значение, поскольку они широко применяются во многих областях, и нам часто придётся использовать их в качестве базовых моделей при обосновании целесообразности применения более сложных архитектур. В этой главе мы сосредоточимся на линейной регрессии, а в следующей расширим наш арсенал моделей, разработав линейные нейронные сети для классификации.