.. _chap_modern_cnn: Современные свёрточные нейронные сети ===================================== Теперь, когда мы разобрались с основами построения свёрточных нейронных сетей (CNN), совершим обзор современных архитектур CNN. Этот обзор, разумеется, не может быть полным, поскольку постоянно появляются множество новых интересных решений. Их важность обусловлена тем, что их можно использовать не только непосредственно для задач компьютерного зрения, но и в качестве базовых генераторов признаков для более сложных задач, таких как отслеживание :cite:`Zhang.Sun.Jiang.ea.2021`, сегментация :cite:`Long.Shelhamer.Darrell.2015`, обнаружение объектов :cite:`Redmon.Farhadi.2018` или стилизация изображений :cite:`Gatys.Ecker.Bethge.2016`. В этой главе большинство разделов посвящены значимым архитектурам CNN, которые в какой-то момент (или в настоящее время) служили базовой моделью, на основе которой строилось множество исследовательских проектов и развернутых систем. Каждая из этих сетей недолгое время была доминирующей архитектурой, а многие из них становились победителями или призерами конкурса `ImageNet `__, который с 2010 года служит индикатором прогресса в обучении с учителем в области компьютерного зрения. Лишь недавно трансформеры начали вытеснять CNN, начиная с :cite:t:`Dosovitskiy.Beyer.Kolesnikov.ea.2021` и продолжая архитектурой Swin Transformer :cite:`liu2021swin`. Мы рассмотрим это развитие событий позже в :numref:`chap_attention-and-transformers`. Хотя идея *глубоких* нейронных сетей довольно проста (достаточно соединить вместе множество слоёв), производительность может сильно различаться в зависимости от архитектуры и выбора гиперпараметров. Нейронные сети, описанные в этой главе, — результат интуиции, нескольких математических открытий и большого количества проб и ошибок. Мы излагаем эти модели в хронологическом порядке, отчасти чтобы передать историю развития области, сформировать ваше собственное понимание того, куда движется индустрия, и, возможно, помочь разработать собственные архитектуры. Например, батч-нормализация и остаточные связи, описанные в этой главе, предложили два популярных подхода к обучению и проектированию глубоких моделей, которые впоследствии были применены и к архитектурам за пределами компьютерного зрения. Наш обзор современных свёрточных нейронных сетей начинается с AlexNet :cite:`Krizhevsky.Sutskever.Hinton.2012` — первой крупной сети, которая смогла превзойти традиционные методы компьютерного зрения в масштабном соревновании по зрительному распознаванию; сети VGG :cite:`Simonyan.Zisserman.2014`, использующей множество повторяющихся блоков элементов; архитектуры Network in Network (NiN), которая применяет свёртку целых нейронных сетей по патчам к входным данным :cite:`Lin.Chen.Yan.2013`; GoogLeNet, использующей сети с многоветвевыми свёртками :cite:`Szegedy.Liu.Jia.ea.2015`; остаточной сети (ResNet) :cite:`He.Zhang.Ren.ea.2016`, которая до сих пор остаётся одной из самых популярных готовых архитектур в компьютерном зрении; блоков ResNeXt :cite:`Xie.Girshick.Dollar.ea.2017` для более разреженных связей; и DenseNet :cite:`Huang.Liu.Van-Der-Maaten.ea.2017`, представляющим собой обобщение остаточной архитектуры. Со временем было разработано множество специальных оптимизаций для эффективных сетей, таких как координатные сдвиги (ShiftNet) :cite:`wu2018shift`. Это привело к автоматическому поиску эффективных архитектур, таким как MobileNet v3 :cite:`Howard.Sandler.Chu.ea.2019`. Сюда же относится и полуавтоматический поиск архитектур :cite:t:`Radosavovic.Kosaraju.Girshick.ea.2020`, приведший к RegNetX/Y, которые мы обсудим позже в этой главе. Эта работа поучительна тем, что предлагает путь для сочетания вычислительной мощности «в лоб» с изобретательностью экспериментатора в поиске эффективных проектных пространств. Также стоит отметить работу :cite:t:`liu2022convnet`, поскольку она показывает, что методы обучения (например, оптимизаторы, аугментация данных и регуляризация) играют ключевую роль в повышении точности. Она также демонстрирует, что давние предположения, такие как размер окна свёртки, возможно, потребуется пересмотреть с учётом роста вычислительных мощностей и объёмов данных. Мы рассмотрим этот и многие другие вопросы по мере продвижения по этой главе. .. toctree:: :maxdepth: 2 alexnet vgg nin googlenet batch-norm resnet densenet cnn-design