Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником [[Участник:Aleksei Klesov|А. Клёсов]] 18:31, 3 июля 2026 (MSD)}} {{TOCright}} '''Глубокие нейронные сети''' (англ. ''Deep Neural Networks, DNN'') — класс [[Искусственная нейронная сеть|искусственных нейронных сетей]], характеризующийся наличием '''множества [[Скрытый слой|скрытых слоёв]]''' (как правило, более трёх) между входным и выходным слоями. Такая архитектура позволяет сети автоматически выделять иерархию признаков из сырых данных: первые слои обучаются простым (низкоуровневым) абстракциям, а последующие комбинируют их во всё более сложные и содержательные представления. Глубокие нейронные сети являются основой парадигмы [[Глубокое обучение|глубокого обучения]] (англ. ''deep learning''), которая доминирует в современных задачах [[Компьютерное зрение|компьютерного зрения]], [[Обработка естественного языка|обработки естественного языка]], [[Распознавание речи|распознавания речи]] и многих других областях. == Историческая справка == История глубоких нейронных сетей насчитывает более полувека и характеризуется несколькими периодами подъёмов и спадов, известными как «зимы ИИ». === Ранние годы: перцептрон и первая «зима ИИ» === Фундамент нейросетевого подхода был заложен в 1943 году, когда [[Уоррен Маккалок]] и [[Уолтер Питтс]] предложили формальную модель искусственного нейрона. В 1949 году [[Дональд Хебб]] сформулировал принцип обучения, известный как [[Правило Хебба|правило Хебба]]. Ключевым событием стал 1958 год, когда [[Фрэнк Розенблатт]] создал '''[[Перцептрон|перцептрон]]''' — первую практическую реализацию нейросети, способной к обучению <ref name="Rosenblatt1958">Rosenblatt, 1958</ref>. Перцептрон вызвал огромный энтузиазм; казалось, что создание полноценного искусственного интеллекта — вопрос ближайшего будущего. Однако в 1969 году [[Марвин Минский]] и [[Сеймур Пейперт]] в своей книге «Perceptrons» представили формальное доказательство фундаментальных ограничений однослойного перцептрона, показав, что он не способен решать даже такую простую задачу, как [[XOR|исключающее ИЛИ]] (XOR) <ref name="MinskyPapert1969">Minsky, Papert, 1969</ref>. Эта критика привела к резкому спаду интереса к нейронным сетям и наступлению первой «зимы ИИ». === Возрождение: обратное распространение ошибки === Поворотный момент наступил в середине 1980-х годов, когда был переоткрыт и существенно развит '''[[Обратное распространение ошибки|алгоритм обратного распространения ошибки]]''' (англ. ''backpropagation''). Стоит отметить, что этот метод был впервые предложен ещё в 1974 году Полом Дж. Вербосом и, независимо, А. И. Галушкиным, но остался незамеченным. В 1986 году [[Дэвид Румельхарт]], [[Джеффри Хинтон]] и Рональд Уильямс <ref name="Rumelhart1986">Rumelhart, Hinton, Williams, 1986</ref>, а также, независимо, группа С. И. Барцева и В. А. Охонина, переоткрыли этот алгоритм, продемонстрировав его эффективность для обучения [[Многослойный перцептрон|многослойных перцептронов]] (MLP). Это открытие вызвало «взрыв интереса» к нейронным сетям. В этот же период [[Джон Хопфилд]] предложил [[Сеть Хопфилда|сеть Хопфилда]] (1982 г.), а [[Тойво Кохонен]] — [[Самоорганизующаяся карта Кохонена|самоорганизующиеся карты Кохонена]]. === Глубокая революция: AlexNet и эра глубокого обучения === Несмотря на успехи 1980-х, обучение действительно глубоких сетей оставалось серьёзной проблемой из-за [[Исчезающий градиент|исчезающего градиента]] и отсутствия достаточных вычислительных мощностей. Положение изменилось только во втором десятилетии XXI века. В 2012 году произошло событие, которое принято считать началом эры глубокого обучения: нейросеть '''[[AlexNet]]''', разработанная [[Алекс Крижевский|Алексом Крижевским]], [[Илья Суцкевер|Ильёй Суцкевером]] и Джеффри Хинтоном, одержала убедительную победу в конкурсе [[ImageNet|ImageNet Large Scale Visual Recognition Challenge (ILSVRC)]]. AlexNet достигла топ-5 ошибки в 15,3%, что более чем на 10,8 процентных пункта превзошло результат занявшей второе место модели <ref name="Krizhevsky2012">Krizhevsky, Sutskever, Hinton, 2012</ref>. Этот триумф ознаменовал конец «зимы ИИ» и начало нынешней «весны ИИ». AlexNet продемонстрировала, что глубокие [[Свёрточная нейронная сеть|свёрточные нейронные сети]] (CNN), обученные на мощных [[GPU|графических процессорах (GPU)]], способны кардинально превзойти все ранее существовавшие подходы. С тех пор развитие шло стремительными темпами. В 2017 году архитектура '''[[Трансформер (модель)|Трансформер]]''', предложенная в статье «Attention Is All You Need», произвела революцию в обработке естественного языка, став основой для всех современных [[Большая языковая модель|крупных языковых моделей]] (LLM) <ref name="Vaswani2017">Vaswani et al., 2017</ref>. == Математические основы и процесс обучения == С формальной точки зрения, глубокая нейронная сеть представляет собой сложную параметрическую функцию <tex>f(x; \theta)</tex>, где <tex>x</tex> — входной вектор, а <tex>\theta</tex> — совокупность всех обучаемых параметров (весов и смещений) сети. Архитектура с <tex>L</tex> слоями определяется рекуррентным соотношением: <tex>a^{(l)} = f^{(l)}(W^{(l)} a^{(l-1)} + b^{(l)})</tex>, где <tex>a^{(l)}</tex> — вектор активаций на слое <tex>l</tex>, <tex>W^{(l)}</tex> — матрица весов, <tex>b^{(l)}</tex> — вектор смещений, а <tex>f^{(l)}</tex> — [[Функция активации|нелинейная функция активации]]. Входной слой соответствует <tex>a^{(0)} = x</tex>, выходной — <tex>a^{(L)}</tex>. === Функция потерь === Обучение сети заключается в минимизации [[Функция потерь|функции потерь]] <tex>\mathcal{L}(\theta)</tex>, которая измеряет расхождение между предсказаниями сети <tex>f(x; \theta)</tex> и истинными целевыми значениями <tex>y</tex> на обучающей выборке. Выбор функции потерь определяется типом решаемой задачи. Для задач '''регрессии''' классическим выбором является [[Среднеквадратичная ошибка|среднеквадратичная ошибка]] (MSE): <tex>\mathcal{L} = \frac{1}{N} \sum_{i=1}^{N} ||f(x_i; \theta) - y_i||^2</tex>. Для задач '''классификации''' стандартом является [[Кросс-энтропия|кросс-энтропия]] (англ. ''cross-entropy''). В случае многоклассовой классификации с <tex>M</tex> классами функция потерь имеет вид: <tex>\mathcal{L} = -\sum_{c=1}^{M} y_c \log(p_c)</tex>, где <tex>y_c</tex> — бинарный индикатор принадлежности образца к классу <tex>c</tex>, а <tex>p_c</tex> — предсказанная сетью вероятность того, что образец принадлежит классу <tex>c</tex> (обычно получается применением [[Softmax|функции softmax]] к выходу последнего слоя). === Градиентный спуск и обратное распространение === Основным методом оптимизации является [[Градиентный спуск|градиентный спуск]] (англ. ''gradient descent''). Параметры обновляются итеративно в направлении, противоположном градиенту функции потерь: <tex>\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\theta_t)</tex>, где <tex>\eta</tex> — [[Скорость обучения|скорость обучения]] (англ. ''learning rate''), а <tex>\nabla_{\theta} \mathcal{L}</tex> — градиент функции потерь по параметрам. Ключевым для эффективного вычисления градиентов в многослойных сетях является '''алгоритм обратного распространения ошибки''' (англ. ''backpropagation''). Этот метод, основанный на [[Цепное правило|цепном правиле]] дифференцирования, позволяет распространять сигнал ошибки от выходного слоя к входному, последовательно вычисляя градиенты для всех слоёв. Градиентный спуск с обратным распространением ошибки, однако, гарантирует нахождение только локального минимума функции потерь <ref name="Goodfellow2016">Goodfellow, Bengio, Courville, 2016</ref>. На практике для работы с большими наборами данных используется '''[[Стохастический градиентный спуск|стохастический]]''' или '''[[Мини-пакетный градиентный спуск|мини-пакетный градиентный спуск]]''' (англ. ''Stochastic Gradient Descent, SGD''), где градиент вычисляется не по всей выборке, а по её небольшим случайным подмножествам (батчам), что значительно ускоряет обучение. == Фундаментальные проблемы обучения глубоких сетей == С увеличением числа слоёв в нейронной сети возникает ряд фундаментальных проблем, осложняющих процесс обучения. === Исчезающий и взрывающийся градиенты === Проблемы '''[[Исчезающий градиент|исчезающего]]''' (англ. ''vanishing gradient'') и '''взрывающегося''' (англ. ''exploding gradient'') градиентов были осознаны уже в начале 1990-х годов. Они возникают из-за того, что при обратном распространении ошибки градиенты для ранних слоёв представляют собой произведение множества множителей — производных функций активации и матриц весов. '''Исчезающий градиент:''' Если эти множители меньше 1, градиент экспоненциально затухает по мере удаления от выходного слоя. В результате веса ранних слоёв почти не обновляются, и сеть перестаёт обучаться. '''Взрывающийся градиент:''' Если множители больше 1, градиент экспоненциально растёт, что приводит к числовой нестабильности и расходимости процесса обучения. Эти эффекты особенно остро проявлялись при использовании классических насыщающихся функций активации, таких как [[Сигмоида|сигмоида]] или [[Гиперболический тангенс|гиперболический тангенс]] (tanh), производные которых по модулю не превосходят единицы <ref name="Goodfellow2016" />. === Переобучение === '''[[Переобучение]]''' (англ. ''overfitting'') — это проблема, возникающая, когда модель слишком точно запоминает обучающую выборку, но теряет способность к обобщению на новых данных. В глубоких сетях, содержащих миллионы параметров, риск переобучения особенно велик. Переобучение проявляется в том, что ошибка на обучающей выборке продолжает снижаться, в то время как ошибка на валидационной (проверочной) выборке начинает расти. == Современные методы решения фундаментальных проблем == За последнее десятилетие был разработан целый ряд эффективных методов, позволивших преодолеть указанные выше ограничения. === Современные функции активации === Переход от насыщающихся функций к '''[[ReLU|ReLU (Rectified Linear Unit)]]''' стал одним из ключевых прорывов. Функция определяется как: <tex>f(z) = \max(0, z)</tex>. Её производная равна 1 для всех положительных значений, что позволяет градиенту свободно распространяться по сети, эффективно решая проблему исчезающего градиента. Кроме того, ReLU способствует '''разреженности активаций''' (большое количество нейронов выдают ноль), что снижает вычислительную нагрузку и улучшает обобщающую способность сети. Однако у ReLU есть недостаток — '''проблема «умирающего» ReLU''' (англ. ''dying ReLU problem''): если нейрон активируется на отрицательных значениях, его градиент становится нулевым, и он может навсегда «умереть», перестав обучаться. Для решения этой проблемы были предложены модификации: * '''Leaky ReLU:''' <tex>f(z) = \max(\alpha z, z)</tex>, где <tex>\alpha</tex> — небольшой положительный коэффициент (например, 0.01), позволяющий небольшому градиенту проходить даже для отрицательных значений. * '''ELU (Exponential Linear Unit)''' и его вариации. * '''[[GELU|GELU (Gaussian Error Linear Unit)]]''', которая стала стандартом для архитектур Трансформеров. === Пакетная нормализация === '''[[Пакетная нормализация|Пакетная нормализация (Batch Normalization)]]''' — это метод, предложенный в 2015 году, который нормализует входные данные каждого слоя так, чтобы их среднее значение было равно нулю, а дисперсия — единице <ref name="Ioffe2015">Ioffe, Szegedy, 2015</ref>. Это решает проблему '''внутреннего ковариационного сдвига''' (англ. ''internal covariate shift'') — изменения распределения входных данных слоя в процессе обучения. Пакетная нормализация позволяет: * Использовать более высокие скорости обучения. * Снизить чувствительность к инициализации весов. * Действовать как регуляризатор, частично заменяя [[Dropout|Dropout]]. === Skip-соединения и Residual-блоки === Одним из самых значительных прорывов стало появление архитектур с '''[[Остаточная нейронная сеть|пропускающими соединениями (skip-connections)]]''' или '''остаточными соединениями (residual connections)'''. Ключевой пример — семейство сетей '''[[ResNet|ResNet (Residual Networks)]]''', предложенное в 2015 году <ref name="He2016">He et al., 2016</ref>. Основная идея заключается в том, чтобы добавить к выходу каждого блока слоёв его вход: <tex>a^{(l+1)} = f(a^{(l)} + \mathcal{F}(a^{(l)}))</tex>, где <tex>\mathcal{F}</tex> — нелинейное преобразование, которое должен выучить блок. Таким образом, сеть учится не отображению <tex>a^{(l)} \mapsto a^{(l+1)}</tex>, а '''остатку (residual)''' <tex>\mathcal{F}(a^{(l)}) = a^{(l+1)} - a^{(l)}</tex>. Это позволяет градиенту распространяться напрямую по «коротким путям» (shortcut connections) через всю сеть, эффективно решая проблему исчезающего градиента. Благодаря этому удалось создавать сети с глубиной в сотни и даже тысячи слоёв (например, ResNet-101). === Регуляризация === Для борьбы с переобучением в глубоких сетях применяется комплекс методов регуляризации, которые ограничивают сложность модели или вносят шум в процесс обучения. '''L1 и L2-регуляризация (Weight Decay).''' Эти методы добавляют к основной функции потерь штраф за большие значения весов. L2-регуляризация (также известная как ''weight decay'') добавляет член <tex>\lambda \sum_{i} \theta_i^2</tex>, что эквивалентно «сглаживанию» весов и предотвращает их чрезмерный рост. L1-регуляризация добавляет член <tex>\lambda \sum_{i} |\theta_i|</tex>, что способствует разреженности весов (обнулению несущественных связей). На практике L2-регуляризация является стандартным компонентом обучения большинства глубоких сетей <ref name="Goodfellow2016" />. '''Dropout.''' Метод, предложенный в 2014 году, заключается в случайном «выключении» (обнулении) некоторой доли нейронов во время каждой итерации обучения. Это вынуждает сеть обучаться более робастным признакам, которые не зависят от конкретной комбинации нейронов, и эффективно предотвращает коадаптацию нейронов. На тестовой фазе все нейроны используются, но их выходы умножаются на вероятность сохранения, что соответствует усреднению по ансамблю из множества «прореженных» сетей. '''Ранняя остановка (Early Stopping).''' Это самый простой и широко используемый метод регуляризации. Процесс обучения останавливается в тот момент, когда ошибка на валидационной выборке перестаёт снижаться или начинает расти, в то время как ошибка на обучающей выборке ещё продолжает падать. Таким образом, мы фиксируем состояние модели, которое обладает наилучшей обобщающей способностью, не дожидаясь переобучения. == Основные архитектуры глубоких нейронных сетей == === Полносвязные сети (MLP) === '''[[Многослойный перцептрон|Многослойный перцептрон (MLP)]]''' — это простейшая архитектура глубокой сети, где каждый нейрон слоя соединён со всеми нейронами предыдущего слоя. Несмотря на свою универсальность (согласно [[Теорема Цыбенко|теореме о полноте]], MLP может аппроксимировать любую непрерывную функцию), полносвязные сети неэффективны для обработки данных с пространственной или временнóй структурой из-за огромного числа параметров и отсутствия инвариантности к сдвигам. === Свёрточные нейронные сети (CNN) === '''[[Свёрточная нейронная сеть|Свёрточные нейронные сети (CNN)]]''' были разработаны специально для обработки данных с сетчатой структурой, прежде всего изображений. Ключевые инновации: * '''Свёрточные слои (convolutional layers):''' используют локальные [[Ядро свёртки|ядра (фильтры)]], которые применяются ко всему входу, что значительно сокращает число параметров и обеспечивает '''инвариантность к сдвигу'''. * '''Слои подвыборки (pooling layers):''' уменьшают пространственную размерность, обеспечивая инвариантность к небольшим деформациям. * '''Иерархия признаков:''' первые слои CNN обучаются простым признакам (края, углы), средние — более сложным (текстуры, части объектов), а последние — целым объектам. CNN стали основой для компьютерного зрения и широко применяются также в обработке аудио и текстов. === Рекуррентные нейронные сети (RNN) === '''[[Рекуррентная нейронная сеть|Рекуррентные нейронные сети (RNN)]]''' предназначены для работы с последовательными данными (временные ряды, текст, речь). В отличие от [[Прямая нейронная сеть|сетей прямого распространения]], RNN имеют внутреннюю память: выход сети на текущем шаге зависит не только от текущего входа, но и от скрытого состояния, полученного на предыдущем шаге. Классические RNN страдают от проблем исчезающего и взрывающегося градиентов в ещё более острой форме. Для их решения были разработаны специализированные архитектуры: * '''[[LSTM|LSTM (Long Short-Term Memory)]]''' * '''[[GRU|GRU (Gated Recurrent Unit)]]''' Эти архитектуры используют специальные вентильные механизмы (гейты) для управления потоком информации, что позволяет им запоминать зависимости на длинных последовательностях. === Трансформеры === '''[[Трансформер (модель)|Трансформеры]]''' — это архитектура, предложенная в 2017 году и совершившая революцию в обработке последовательностей <ref name="Vaswani2017" />. В отличие от RNN, трансформеры не обрабатывают последовательность шаг за шагом, а используют механизм '''[[Механизм внимания|самовнимания (self-attention)]]''', который позволяет модели напрямую учитывать взаимосвязи между любыми элементами последовательности, независимо от их расстояния. Ключевые преимущества трансформеров: * Полный параллелизм при обучении (в отличие от RNN). * Способность эффективно моделировать долгосрочные зависимости. * Масштабируемость: увеличение размера модели и данных ведёт к предсказуемому росту качества (это явление известно как '''[[Законы масштабирования|законы масштабирования]]''' для нейронных языковых моделей). Трансформеры стали основой для всех современных крупных языковых моделей, таких как [[GPT|GPT]], [[BERT|BERT]] и их многочисленных последователей. == Аппаратное ускорение == Обучение глубоких нейронных сетей требует колоссальных вычислительных ресурсов, и его практическая реализация стала возможной только благодаря развитию специализированного аппаратного обеспечения. Основные операции в глубоком обучении — это [[Матричное умножение|матричные умножения]] и [[Свёртка (математика)|свёртки]], которые являются высокопараллельными по своей природе. '''[[GPU|Графические процессоры (GPU)]]:''' Изначально разработанные для рендеринга графики, GPU оказались идеальным инструментом для глубокого обучения благодаря тысячам вычислительных ядер, способных выполнять операции с матрицами параллельно. Широкое применение GPU стало одним из ключевых факторов успеха AlexNet в 2012 году. '''[[TPU|Тензорные процессоры (TPU)]]:''' Это специализированные интегральные схемы (ASIC), разработанные компанией [[Google|Google]] специально для ускорения операций с тензорами, лежащих в основе нейросетевых вычислений. TPU используют архитектуру [[Систолический массив|систолического массива]] для достижения максимальной производительности при минимальном энергопотреблении. '''Другие ускорители:''' FPGA, NPU и другие специализированные чипы также активно разрабатываются и применяются. == Примечания == <references /> == Литература == {{статья |автор= Rosenblatt F. |заглавие= The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain |издание= Psychological Review |год= 1958 |страницы= 65–386 |ссылка= |ref= Rosenblatt1958 }} {{статья |автор= Minsky M., Papert S. |заглавие= Perceptrons: An Introduction to Computational Geometry |издание= MIT Press |год= 1969 |страницы= |ссылка= |ref= MinskyPapert1969 }} {{статья |автор= Rumelhart D. E., Hinton G. E., Williams R. J. |заглавие= Learning representations by back-propagating errors |издание= Nature |год= 1986 |страницы= 533–536 |ссылка= |ref= Rumelhart1986 }} {{статья |автор= Krizhevsky A., Sutskever I., Hinton G. E. |заглавие= ImageNet Classification with Deep Convolutional Neural Networks |издание= Advances in Neural Information Processing Systems (NIPS) |год= 2012 |страницы= 1097–1105 |ссылка= |ref= Krizhevsky2012 }} {{статья |автор= He K., Zhang X., Ren S., Sun J. |заглавие= Deep Residual Learning for Image Recognition |издание= Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) |год= 2016 |страницы= 770–778 |ссылка= |ref= He2016 }} {{статья |автор= Ioffe S., Szegedy C. |заглавие= Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift |издание= Proceedings of the 32nd International Conference on Machine Learning (ICML) |год= 2015 |страницы= 448–456 |ссылка= |ref= Ioffe2015 }} {{статья |автор= Vaswani A., Shazeer N., Parmar N., et al. |заглавие= Attention Is All You Need |издание= Advances in Neural Information Processing Systems (NIPS) |год= 2017 |страницы= 5998–6008 |ссылка= |ref= Vaswani2017 }} {{статья |автор= Goodfellow I., Bengio Y., Courville A. |заглавие= Deep Learning |издание= MIT Press |год= 2016 |страницы= 775 |ссылка= |ref= Goodfellow2016 }} == См. также == * [[Искусственная нейронная сеть]] * [[Глубокое обучение]] * [[Машинное обучение]] * [[Искусственный интеллект]] * [[Свёрточная нейронная сеть]] * [[Рекуррентная нейронная сеть]] * [[Трансформер (модель)]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Глубокие нейронные сети.