19. Оптимизация гиперпараметров¶
Аарон Кляйн (Amazon), Маттиас Зейгер (Amazon) и Седрик Аржанбо (Amazon)
Производительность любой модели машинного обучения зависит от её гиперпараметров. Они управляют алгоритмом обучения или структурой лежащей в основе статистической модели. Однако на практике не существует универсального способа выбора гиперпараметров. Вместо этого гиперпараметры часто задаются методом проб и ошибок или иногда оставляются со значениями по умолчанию, что приводит к субоптимальной обобщающей способности.
Оптимизация гиперпараметров предлагает систематический подход к этой проблеме, сводя её к задаче оптимизации: хороший набор гиперпараметров должен (по крайней мере) минимизировать ошибку валидации. В отличие от большинства других задач оптимизации, возникающих в машинном обучении, оптимизация гиперпараметров является вложенной, поскольку каждая итерация требует обучения и валидации модели машинного обучения.
В этой главе мы сначала рассмотрим основы оптимизации гиперпараметров. Мы также представим некоторые недавние достижения, которые повышают общую эффективность оптимизации гиперпараметров за счёт использования дешёвых в вычислении прокси-функций для исходной целевой функции. В конце этой главы вы сможете применять современные методы оптимизации гиперпараметров для настройки гиперпараметров ваших собственных алгоритмов машинного обучения.