Машинное забывание

Материал из MachineLearning.

Статья написана с использованием LLM ChatGPT (GPT-5.5) и проверена участником Miraslava Ladutska 7 июля 2026 (MSD).

Машинное забывание (англ. machine unlearning) — область машинного обучения, изучающая способы удалить из обученной модели влияние заданных данных, пользователей, классов, признаков или фрагментов знаний без полного повторного обучения. В идеальной постановке модель после забывания должна иметь такое же поведение, как модель, которая с самого начала обучалась на выборке без удалённых данных.

Пусть сервис распознавания изображений обучался на фотографиях пользователей. После удаления фотографий из хранилища сама модель может по-прежнему сохранять их статистический след: граница решений могла измениться, эмбеддинги могли приблизить похожие лица, а редкие изображения могли быть частично запомнены параметрами. Поэтому практический риск состоит не только в выполнении операции удаления, но и в проверке, что модель действительно перестала использовать влияние удалённых данных. Эта особенность отличает машинное забывание от обычного управления файлами и связывает его с конфиденциальностью данных, дифференциальной приватностью, атаками на принадлежность, оптимизацией и управлением жизненным циклом моделей.

Интерес к теме усилился из-за роста стоимости обучения больших моделей, появления правовых требований к удалению персональных данных и работ, показывающих, что нейронные сети, особенно большие языковые модели, могут запоминать фрагменты обучающих данных.^[1]^[1] К $2026$ году машинное забывание стало не только темой приватности, но и частью исследований по безопасности генеративных моделей: удаляют не только пользовательские записи, но и фрагменты авторских корпусов, персональные биографии, опасные инструкции, отравленные примеры и нежелательные способности.^[1] Машинное забывание не совпадает с катастрофическим забыванием, где модель непреднамеренно теряет старые навыки при обучении на новых данных. Оно также не является «мемоизацией» в программистском смысле: в контексте моделей речь идёт о меморизации или запоминании обучающих данных, а не о кэшировании вычислений.

Содержание

1 Терминология
2 Исторический и исследовательский контекст
3 Математическая постановка
4 Варианты задачи
5 Основные подходы
6 Оценка качества забывания
- 6.1 Проблема проверки
- 6.2 Метрики
7 Бенчмарки для языковых моделей
8 Практический протокол
9 Типичные ошибки
10 Ограничения
11 Современные исследования и примеры
12 Научное и практическое значение
13 Связь с другими направлениями
14 Открытые проблемы
15 См. также
16 Примечания
17 Литература
18 Ссылки

Терминология

В ранней формулировке Y. Cao и J. Yang машинное забывание рассматривалось как системная задача: удаление записи должно распространяться на производные артефакты, статистики и модели, которые были построены с её участием.^[1] В современной литературе чаще используют операционное определение: результат забывания сравнивается с результатом переобучения на данных, из которых удалено забываемое множество.^[1]

Забываемое множество: Часть обучающих данных, влияние которой требуется удалить. Обычно обозначается $D_{\mathrm f}$ .

Сохраняемое множество: Остаток обучающей выборки после удаления забываемых данных. Обычно обозначается $D_{\mathrm r}$ .

Исходная модель: Модель, обученная на полной выборке до получения запроса на удаление.

Эталонная модель: Модель, заново обученная только на $D_{\mathrm r}$ . Она служит концептуальным стандартом, хотя её обучение может быть слишком дорогим.

Алгоритм забывания: Процедура, которая по исходной модели, забываемым данным и доступным артефактам обучения строит обновлённую модель.

Сертификат удаления: Формальная гарантия, что результат забывания статистически близок к эталонному переобучению при явно заданных предположениях.

Исторический и исследовательский контекст

Идея декрементального обновления моделей существовала до появления термина machine unlearning. Для некоторых алгоритмов можно было удалять точки, обновляя достаточные статистики или локальные структуры. Однако такие процедуры обычно рассматривались как ускорение вычислений, а не как проверяемое удаление влияния данных.

Статья Cao и Yang 2015 года сделала акцент на системном аспекте: данные после обучения оставляют след не только в модели, но и в индексах, кэше, производных признаках и промежуточных результатах.^[1] Работа Ginart, Guan, Valiant и Zou 2019 года дала формальную постановку удаления данных в машинном обучении и исследовала эффективное забывание для задачи $k$ -средних.^[1]

В 2020 году появились две влиятельные линии. Первая — сертифицированное удаление данных, где результат забывания должен быть трудноотличим от переобучения без удалённых данных.^[1] Вторая — «очистка» параметров глубоких сетей, включая Fisher forgetting и weight scrubbing, где удаление трактуется как контролируемое разрушение информации о выбранных данных в параметрах.^[1]

Широко обсуждаемой стала схема SISA (Sharded, Isolated, Sliced, Aggregated). Она заранее разбивает обучение на независимые шарды и срезы, чтобы при удалении примера переобучать только затронутую часть ансамбля.^[1] Последующие исследования показали, что такая архитектура не бесплатна: изоляция шардов может ухудшать качество для миноритарных классов, если разбиение данных не учитывает дисбаланс.^[1]

Теоретические работы 2021 года развивали забывание через выпуклую оптимизацию, устойчивость алгоритмов и последовательные запросы удаления. Descent-to-Delete предложил градиентные процедуры с контролем статистического расхождения с переобучением.^[1] Работы об алгоритмической устойчивости и последовательном забывании уточнили, когда небольшие изменения выборки можно обслуживать без накопления неконтролируемой ошибки.^[1]^[1]

После распространения генеративных моделей постановка стала шире. Теперь забываемым объектом может быть не только строка таблицы, но и книга, биографический профиль, авторский корпус, приватный диалог, нежелательный стиль или опасная способность. Работы о меморизации языковых моделей показали, что крупные модели могут воспроизводить редкие фрагменты обучающих данных, что сделало проверку забывания самостоятельной исследовательской задачей.^[1]^[1]

Период $2024$ – $2026$ сместил акцент с демонстраций отдельных алгоритмов к проверяемости и эксплуатационным рискам. В обзоре Nature Machine Intelligence 2025 года unlearning для языковых моделей описан как элемент жизненного цикла LLM, связанный с приватностью, авторскими правами, безопасностью и снижением социотехнического вреда.^[1] В том же периоде появились работы о сертифицированном забывании нейронных сетей, атакующих сценариях удаления и стандартизованных наборах оценки для LLM.^[1]^[1]^[1]

Математическая постановка

Данные, модель и эталон переобучения

Пусть обучающая выборка имеет вид

$D=\{z_i\}_{i=1}^{n},$

где $z_i$ — обучающий пример. Выделим забываемое множество $D_{\mathrm f}\subset D$ и сохраняемое множество

$D_{\mathrm r}=D\setminus D_{\mathrm f}.$

Алгоритм обучения $A$ с внутренней случайностью $\xi$ строит исходные параметры

$\theta=A(D;\xi).$

Эталонная модель получается повторным обучением на сохраняемом множестве:

$\theta^{-}=A(D_{\mathrm r};\xi').$

Алгоритм забывания $U$ принимает исходную модель, забываемые данные и служебные артефакты $S$ , например контрольные точки, шарды, статистики или журналы обучения:

$\widetilde{\theta}=U(\theta,D_{\mathrm f},S).$

Цель состоит в том, чтобы $\widetilde{\theta}$ была функционально и статистически близка к $\theta^{-}$ , а не просто хуже работала на удалённых примерах.

Точное и приближённое забывание

Точное забывание требует совпадения распределений:

$\mathcal{L}(\widetilde{\theta})=\mathcal{L}(\theta^{-}),$

где $\mathcal{L}$ обозначает закон распределения. Такое условие достижимо для некоторых моделей с достаточными статистиками, для специально спроектированных процедур обучения или при фактическом переобучении затронутой части системы.

Приближённое забывание допускает небольшое расхождение. В стиле дифференциальной приватности можно требовать, чтобы для любого события $E$ в пространстве наблюдаемых результатов выполнялось

$\Pr[\mathcal{O}(\widetilde{\theta})\in E]\leq e^{\varepsilon}\Pr[\mathcal{O}(\theta^{-})\in E]+\delta,$

и аналогичное неравенство в обратную сторону. Здесь $\mathcal{O}$ — наблюдаемая часть модели: параметры, вероятности классов, логиты, ответы на запросы или протокол взаимодействия. Параметры $\varepsilon$ и $\delta$ задают силу гарантии. Сертифицированное удаление данных использует именно такую логику: результат должен быть трудноотличим от переобучения, но только в рамках оговорённой модели наблюдателя и предположений алгоритма.^[1]

Функция потерь и локальное изменение оптимума

Для дифференцируемых моделей часто рассматривают эмпирический риск

$R_D(\theta)=\frac{1}{|D|}\sum_{z\in D}\ell(\theta,z),$

где $\ell(\theta,z)$ — функция потерь. После удаления данных оптимизируется уже $R_{D_{\mathrm r}}(\theta)$ . Если исходная модель близка к локальному минимуму, изменение параметров можно приближать с помощью градиента и кривизны. Для одной удаляемой точки $z$ классическая аппроксимация через функцию влияния имеет вид

$\Delta\theta \approx \frac{1}{|D|}H_{\theta}^{-1}\nabla_{\theta}\ell(\theta,z),$

где $H_{\theta}$ — гессиан эмпирического риска. Функции влияния применялись для анализа вклада обучающих точек в предсказания, но в глубоких сетях их точность ограничена невыпуклостью, регуляризацией, недетерминизмом оптимизации и приближённым вычислением $H_{\theta}^{-1}$ .^[1]

Многокритериальность

Качество забывания невозможно описать одной числовой величиной. В прикладном эксперименте обычно фиксируют несколько величин:

$Q_{\mathrm{forget}}$

— близость к эталонному удалению;

$Q_{\mathrm{retain}}$

— сохранение качества на разрешённых данных;

$Q_{\mathrm{test}}$

— обобщающая способность на независимой тестовой выборке;

$C_{\mathrm{unlearn}}$

— вычислительная стоимость удаления;

$M_{\mathrm{audit}}$

— результат внешнего аудита, например атаки на принадлежность.

Один из способов записать компромисс — минимизировать сумму штрафов:

$\min_U\; \alpha\Delta_{\mathrm{forget}}(\widetilde{\theta},\theta^{-})+\beta\Delta_{\mathrm{utility}}(\widetilde{\theta},\theta)+\gamma C_{\mathrm{unlearn}}.$

Такая запись полезна как схема мышления, но в реальных системах веса $\alpha$ , $\beta$ и $\gamma$ не задаются универсально. Для медицинской модели, рекомендательной системы и языковой модели допустимые компромиссы будут различаться.

Варианты задачи

Типы машинного забывания
Вариант	Что удаляется	Пример	Характерная трудность
Забывание примера	Одна запись или малое множество $D_{\mathrm f}$	Удаление отдельной фотографии из обучающей выборки	Влияние одной точки мало и статистически трудно проверяется
Забывание пользователя	Все записи одного субъекта	Удаление истории взаимодействий пользователя в рекомендательной системе	Данные одного субъекта распределены по нескольким таблицам, логам и признакам
Забывание класса	Все примеры класса $y=c$	Удаление класса из классификатора изображений	Границы решений для соседних классов могут измениться непредсказуемо
Забывание признака	Один признак или группа признаков	Удаление чувствительного атрибута из скоринговой модели	Информация может восстанавливаться через коррелированные признаки
Забывание концепта	Семантическое знание, стиль, объект или способность	Удаление знания о конкретном произведении из языковой модели	Границы концепта не задаются точным списком строк
Федеративное забывание	Клиент или данные клиента в федеративном обучении	Удаление вклада одного устройства	Сервер может не иметь исходных данных, а только агрегированные обновления
Графовое забывание	Узел, ребро, подграф или атрибут	Удаление пользователя и его связей из графовой модели	Информация распространяется через соседей и агрегацию сообщений
Забывание в генеративной модели	Текст, изображение, стиль, авторский корпус или опасная способность	Уменьшение способности модели воспроизводить приватный документ	Нужно проверять переформулировки, продолжения и скрытые ассоциации

Основные подходы

Полное переобучение

Полное переобучение удаляет $D_{\mathrm f}$ из набора данных и заново запускает обучение на $D_{\mathrm r}$ . Это наиболее чистый эталон, потому что он напрямую реализует модель $\theta^{-}$ . Его цена — вычисления, время, повторная валидация и необходимость воспроизвести весь конвейер подготовки данных. Для больших моделей этот вариант часто используется не после каждого запроса, а как периодическая процедура или как базовая линия для оценки приближённых методов.

Обновление достаточных статистик

Некоторые модели зависят от выборки через компактные агрегаты. Если статистика имеет вид

$s(D)=\sum_{z\in D}\phi(z),$

то после удаления можно вычислить

$s(D_{\mathrm r})=s(D)-\sum_{z\in D_{\mathrm f}}\phi(z).$

Такой подход даёт точное удаление для моделей, где параметры полностью определяются обновляемыми статистиками. Он применим, например, в отдельных линейных, байесовских или кластеризационных постановках. Его слабость состоит в ограниченной области применимости: сложная история стохастической оптимизации нейронной сети обычно не сводится к небольшому числу агрегатов.

Декомпозиция обучения: SISA

SISA проектирует обучение так, чтобы будущие удаления были дешевле. Данные делятся на шарды, каждый шард обучает отдельную подмодель, а внутри шарда сохраняются срезы обучения. При удалении примера переобучается только соответствующий шард начиная с ближайшей контрольной точки; затем агрегатор обновляет итоговый ансамбль.^[1]

Метод хорошо показывает инженерный принцип: забывание легче поддерживать, если система спроектирована до появления запросов. Недостатки также инженерные: нужно хранить больше артефактов, заранее выбирать разбиение данных и контролировать потери качества из-за изоляции шардов.

Градиентные методы и приближение переобучения

Градиентные методы пытаются сдвинуть исходные параметры в сторону минимума на $D_{\mathrm r}$ без полного запуска обучения. Простейшая процедура выполняет несколько шагов

$\theta_{t+1}=\theta_t-\eta\nabla R_{D_{\mathrm r}}(\theta_t),$

начиная с исходной модели. Более агрессивные варианты используют градиентный подъём на $D_{\mathrm f}$ , чтобы уменьшить вероятность правильного воспроизведения удаляемых примеров, и одновременно дообучение на $D_{\mathrm r}$ , чтобы не разрушить полезные навыки. Подход прост, но сам по себе не гарантирует близости к эталонному переобучению.

Методы с теоретическими гарантиями

Descent-to-Delete и методы на основе алгоритмической устойчивости дают строгие оценки в постановках, где можно контролировать выпуклость, гладкость, шум и накопление ошибки.^[1]^[1] В таких работах забывание рассматривается не как разовая эвристика, а как последовательный процесс: после каждого удаления модель должна оставаться близкой к модели, которую можно было бы получить переобучением на текущем остатке данных.

К $2025$ году сертифицированное забывание стало продвигаться от выпуклых постановок к более общим нейронным сетям. В работе Certified Unlearning for Neural Networks предложено использовать шумное дообучение на сохраняемых данных и связь с усилением приватности стохастической постобработкой; заявленная особенность метода — отсутствие требования к специальной форме функции потерь, хотя гарантия всё равно зависит от параметров шума и протокола аудита.^[1] Это направление важно не потому, что снимает все ограничения, а потому, что возвращает обсуждение к проверяемой формулировке: что именно видит наблюдатель и при каких условиях обновлённая модель неотличима от переобученной.

Очистка параметров

Методы очистки параметров изменяют веса модели, стремясь уменьшить информацию о $D_{\mathrm f}$ . Fisher forgetting оценивает чувствительность параметров через информацию Фишера и сильнее модифицирует параметры, связанные с забываемыми данными.^[1] Подобные процедуры полезны для глубоких сетей, где явное переобучение дорого, а достаточных статистик нет. Их качество зависит от локальности аппроксимации: если удаляемые данные повлияли на ранние представления или на траекторию обучения, простая локальная правка параметров может не воспроизвести эталонное переобучение.

Разреживание и структурные ограничения

Разреженные модели часто легче адаптировать к удалению, поскольку влияние отдельных примеров сосредоточено в меньшем числе активных параметров. Работа Model Sparsity Can Simplify Machine Unlearning показала, что предварительное разреживание может уменьшить разрыв между приближённым забыванием и переобучением.^[1] В более общем виде это направление предлагает выбирать архитектуру, регуляризацию и способ хранения контрольных точек с учётом будущего удаления.

Близкая инженерная идея — ограничивать область правки параметров. SEMU использует сингулярное разложение, чтобы построить низкоразмерную проекцию и выполнять выборочное забывание с меньшим числом изменяемых параметров и меньшей зависимостью от исходной обучающей выборки.^[1] Такие методы не устраняют необходимость аудита, но уменьшают риск, что операция забывания превратится в фактическое повторное дообучение большой части модели.

Забывание в больших языковых моделях

Для больших языковых моделей забываемый объект редко задаётся одной строкой. Это может быть документ, набор фактов, стиль автора, опасная инструкция или приватная биография. Применяются дообучение на сохраняемых данных, градиентный подъём на удаляемых примерах, обучение с противоположными целями, правка внутренних представлений и параметрически эффективные адаптеры. Внешняя фильтрация ответов может снижать риск выдачи запрещённой информации, но она не равна удалению влияния из параметров.

Работа Who’s Harry Potter? исследовала приближённое удаление знаний о книгах о Гарри Поттере из языковой модели.^[1] Последующие работы подчёркивают, что оценка такого удаления должна включать парафразы, косвенные вопросы и проверку сохранения общих языковых навыков.^[1]

В работах $2025$ года усилилось различие между «истинным удалением» и поведенческим подавлением. SoK-обзор по LLM-unlearning предлагает классифицировать методы не только по технике, но и по намерению: удаляют ли они внутреннее знание или лишь заставляют модель не проявлять его в обычных запросах.^[1] Для энциклопедической статьи это различие существенно: запрет ответа через фильтр или отказ модели может быть полезной мерой безопасности, но сам по себе не доказывает, что влияние удалённых данных исчезло из параметров.

Адаптивные и атакующие сценарии

В более реалистичной постановке запрос на забывание может быть не нейтральным административным событием, а частью атаки. Работа Adversarial Machine Unlearning рассматривает ситуацию, где противник выбирает удаляемые данные с учётом будущего поведения модели, а не случайно.^[1] В другой работе ICLR 2025, Unlearn and Burn, показано, что специально подобранные запросы на удаление могут разрушать точность модели сильнее, чем ожидается при обычном анализе удаления.^[1] Практический вывод состоит в том, что система удаления должна проверять не только средний запрос пользователя, но и худшие случаи: классы с малым числом примеров, коррелированные группы и данные, влияющие на границу решения.

Оценка качества забывания

Проблема проверки

Проверить забывание труднее, чем выполнить саму модификацию модели. Если модель ошибается на забываемых примерах, это ещё не доказывает удаления: она может скрывать знание, но сохранять его в представлениях. Если модель хорошо работает на сохраняемых данных, это тоже не доказывает удаления: приватный фрагмент может оставаться доступным через специальный запрос. Поэтому убедительная оценка сравнивает обновлённую модель с эталонным переобучением, проверяет сохранение полезности и включает атаки аудита.

NeurIPS 2023 Machine Unlearning Challenge сделал эту проблему видимой в соревновательном формате. Участникам предлагалось удалить влияние части лицевых изображений из модели предсказания возраста и сохранить качество на остальных данных.^[1] Итоговый анализ соревнования показал, что разные методы дают существенно разные компромиссы между забыванием, полезностью и вычислительной стоимостью.^[1]

Метрики

Группы метрик для оценки забывания
Группа	Что измеряется	Пример	Ограничение
Метрики на забываемом множестве	Потери и ответы модели на $D_{\mathrm f}$	Рост функции потерь на удалённых примерах	Ошибка на $D_{\mathrm f}$ может быть искусственной и не означать удаления влияния
Метрики на сохраняемом множестве	Сохранение качества на $D_{\mathrm r}$	Accuracy, $F_1$ , $\mathrm{AUC}$ , perplexity	Высокое качество не исключает сохранения удалённых данных
Сравнение с эталоном	Близость к модели $\theta^{-}$	Расхождение логитов, тесты распределений, KL-дивергенция	Требует обучения одной или нескольких эталонных моделей
Атаки на принадлежность	Можно ли определить, входил ли пример в обучение	Membership inference attack	Отрицательный результат зависит от силы атакующего
Проверка меморизации	Воспроизводит ли модель удалённый фрагмент	Exact match, nearest-neighbor search, вероятность продолжения	Не ловит перефразированное или обобщённое знание
Робастность к запросам	Сохраняется ли забывание при изменении формулировки	Парафразы, многошаговые вопросы, adversarial prompts	Пространство запросов практически не исчерпывается
Стоимость	Ресурсы по сравнению с переобучением	Время, память, FLOPs, число контрольных точек	Быстрый метод может хуже удалять влияние

Атаки на принадлежность проверяют, можно ли по ответам модели определить, входил ли конкретный пример в обучение.^[1] Это полезный аудит, но не доказательство: если выбранная атака не сработала, более сильная атака или другой интерфейс доступа к модели всё ещё могут выявить след удалённых данных.

Бенчмарки для языковых моделей

Для языковых моделей обычная классификационная метрика недостаточна: модель может не воспроизводить строку дословно, но сохранять факт, стиль или способность. Поэтому появились специализированные бенчмарки.

TOFU (Task of Fictitious Unlearning) использует синтетические профили авторов и наборы вопрос–ответ. Такая конструкция позволяет точно знать, какие факты должны быть забыты, и отделять их от сохраняемых знаний.^[1]

MUSE (Machine Unlearning Six-Way Evaluation) оценивает шесть аспектов: отсутствие дословной меморизации, отсутствие знаниевой меморизации, отсутствие утечки приватной информации, сохранение полезности, масштабируемость запросов и устойчивость к последовательным удалениям.^[1]

WMDP (Weapons of Mass Destruction Proxy) проверяет опасные знания в биобезопасности, кибербезопасности и химической безопасности. В этой постановке unlearning используется не для удаления персональных данных, а как способ уменьшить риск вредоносного применения модели.^[1]

SemEval-2025 Task 4 стал важным шагом от лабораторных наборов к общей задаче для NLP-сообщества. Он включал три сценария: удаление длинных синтетических творческих документов, удаление коротких синтетических биографий с персональными идентификаторами и удаление реальных документов, выбранных из обучающего набора целевой модели.^[1] Ценность такого формата в том, что он заставляет сравнивать методы на нескольких типах содержимого, а не подгонять алгоритм под одну искусственную коллекцию.

OpenUnlearning, опубликованный в $2025$ году, пытается решить проблему несопоставимости экспериментов: он объединяет реализации методов и метрик для TOFU, MUSE и WMDP и вводит метаоценку самих метрик забывания.^[1] Эта линия показывает, что вопрос «как измерять забывание» стал не менее важным, чем вопрос «как забывать».

Практический протокол

Машинное забывание в рабочей системе начинается до первого запроса на удаление. Если не хранить происхождение данных, версии признаков, контрольные точки и связи между моделями, то позднее будет трудно определить, какие артефакты вообще затронуты.

Протокол применения машинного забывания
Этап	Действия	Результат
Инвентаризация данных	Связать записи, пользователей, лицензии, источники и производные признаки	Карта происхождения данных и идентификаторы для удаления
Проектирование обучения	Решить, будут ли храниться шарды, статистики, срезы, контрольные точки или журналы обновлений	Конвейер обучения готов к будущим удалениям
Приём запроса	Проверить субъект, объём удаления и основание запроса	Определено $D_{\mathrm f}$
Анализ влияния	Найти затронутые модели, эмбеддинги, индексы, feature store, кэши и downstream-сервисы	Список артефактов, подлежащих обновлению
Выбор метода	Сравнить переобучение, SISA, градиентное удаление, сертифицированное удаление или гибридный вариант	Зафиксирован допустимый компромисс между риском и стоимостью
Выполнение	Запустить алгоритм $U$ , пересчитать затронутые артефакты и заменить старые версии	Получена модель $\widetilde{\theta}$
Аудит	Проверить utility, близость к эталону, атаки на принадлежность, меморизацию и регрессии	Отчёт о качестве удаления
Развёртывание	Обновить модель, индексы, кэши и документацию версии	Новая версия введена в эксплуатацию
Мониторинг	Следить за повторным появлением удалённой информации и накоплением ошибок после последовательных запросов	Контроль после удаления

Для высокорисковых моделей полезно заранее определить, когда допустимо приближённое забывание, когда требуется пакетное переобучение, а когда модель необходимо вывести из эксплуатации. В системах с retrieval-augmented generation нужно отдельно обновлять векторные индексы и источники поиска: удаление из параметров модели не удаляет документ из внешней базы знаний, и наоборот.

Типичные ошибки

Ошибки при проектировании и оценке забывания
Ошибка	Последствие	Более корректная практика
Считать удаление файла удалением из модели	Параметры, эмбеддинги и производные признаки могут сохранять влияние записи	Отслеживать все производные артефакты и версии
Оценивать только ошибки на $D_{\mathrm f}$	Модель может скрыть знание, но не приблизиться к переобучению	Сравнивать с эталоном и проводить аудит
Игнорировать качество на $D_{\mathrm r}$	Агрессивное удаление разрушает полезную модель	Измерять utility на сохраняемых и независимых данных
Проверять один буквальный запрос	Языковая модель может раскрыть знание через парафразу	Использовать разнообразные формулировки и adversarial-аудит
Называть метод сертифицированным без теоремы	Пользователь получает ложное представление о силе гарантии	Указывать модель угроз, параметры $\varepsilon$ , $\delta$ и область применимости
Забывать только основную модель	Следы остаются в feature store, кэшах, логах, индексах и старых снапшотах	Включать забывание в MLOps-процесс
Использовать один seed и одно разбиение	Результат может быть случайным артефактом	Повторять эксперименты по нескольким инициализациям

Ограничения

Нет универсального доказательства забывания

В простых задачах можно сравнивать параметры или достаточные статистики. В глубоких сетях разные запуски обучения дают разные параметры при похожем поведении, поэтому сравнение весов часто малоинформативно. В языковых моделях пространство возможных запросов настолько велико, что тестовый набор проверяет только часть поведения. Отсюда следует осторожный вывод: сильный экспериментальный аудит повышает доверие, но сам по себе не равен математическому доказательству.

Коррелированные данные

Если удаляемая запись дублируется или статистически следует из оставшихся данных, модель может продолжать выдавать похожий ответ после корректного удаления. Удаление одной фотографии не удаляет знание о человеке, если в обучении остаются другие фотографии или текстовые описания. Поэтому нужно различать удаление конкретного примера, удаление пользователя и удаление концепта.

В $2026$ году эта проблема стала формулироваться как retain–forget entanglement: сохраняемые и удаляемые данные могут разделять признаки, семантические связи или представления, поэтому агрессивное забывание повреждает именно те знания, которые формально должны остаться.^[1] Это особенно заметно в предобученных моделях: удаляемый факт редко изолирован от остальной семантической области.

Последовательные удаления

После многих запросов ошибка приближённого забывания может накапливаться:

$\theta^{(t+1)}=U(\theta^{(t)},D_{\mathrm f}^{(t)},S^{(t)}).$

Если каждый шаг лишь приблизительно имитирует переобучение, итоговая модель может заметно отойти от желаемого состояния. Для таких сценариев нужны периодическое переобучение, хранение дополнительных контрольных точек или алгоритмы с гарантиями на последовательность запросов.^[1]^[1]

Правовые и технические границы

Техническое забывание не заменяет юридическую процедуру удаления. Право на удаление может затрагивать исходные данные, резервные копии, логи, модели и производные артефакты; конкретные требования зависят от юрисдикции и роли организации в обработке данных.^[1] В обратную сторону, юридическое удаление записи не всегда означает, что модель должна потерять знание, полученное из независимых законных источников. Эта граница особенно существенна для больших моделей, обученных на множестве частично перекрывающихся корпусов.

Современные исследования и примеры

Соревнование NeurIPS 2023

NeurIPS 2023 Machine Unlearning Challenge стал одним из первых крупных публичных сравнений методов забывания. Участники работали с задачей предсказания возраста по лицевым изображениям и должны были удалить влияние заданной части пользователей. Ценность соревнования состояла в демонстрации того, что оценка забывания зависит от множества деталей: выбора эталонных моделей, случайности обучения, силы атакующего и допустимой потери качества.^[1]^[1]

Языковые модели и меморизация

Для языковых моделей удаление проверяется не только точным совпадением строк. Модель может хранить факт, но выражать его другими словами; может отказаться отвечать на прямой вопрос, но раскрыть информацию в многошаговой подсказке; может забыть частный пример и одновременно потерять полезное общее знание. Поэтому современные бенчмарки вроде TOFU, MUSE, WMDP и SemEval-2025 Task 4 оценивают несколько измерений одновременно.^[1]^[1]^[1]^[1]

К $2025$ году в статьях по LLM-unlearning сформировался более строгий язык: область удаления, интерфейс наблюдателя, устойчивость к парафразам, сохранение причинно не связанных знаний и масштаб последовательных запросов стали частью постановки, а не дополнительными экспериментами.^[1]^[1] Это делает область ближе к инженерной проверке моделей: метод оценивается не по одной функции потерь, а по профилю поведения после удаления.

Оптимизация с сохранением полезности

Одно из направлений $2025$ года трактует забывание как задачу ограниченной оптимизации: удаляемое влияние нужно подавить, но рост потерь на сохраняемых данных должен оставаться ограниченным. Работа Efficient Utility-Preserving Machine Unlearning with Implicit Gradient Surgery формулирует такую задачу через одностороннюю коррекцию градиента и предлагает приближённое решение с одной обратной проходкой.^[1] Эта линия отражает практическую реальность: успешный метод должен не только «забывать», но и предсказуемо ограничивать ущерб для оставшейся модели.

Бэкдоры и опасные способности

В задачах безопасности забываемое множество может быть набором отравленных примеров, триггеров или нежелательных поведений. Здесь цель состоит не только в приватности, но и в удалении механизма, активируемого специальным входом. Проверка должна включать адаптивные атаки: простой тест на известных триггерах не показывает, что модель не сохранила обобщённый бэкдор.

Проектирование моделей, способных забывать

К $2026$ году заметной стала идея unlearning by design: не исправлять любую уже обученную модель постфактум, а заранее строить архитектуру так, чтобы часть экземплярно-специфической памяти была отделена от общих весов. Препринт MUNKEY предлагает вариант с удалением ключей в памяти модели, где забывание сводится к удалению идентифицирующего ключа, а не к обновлению всех весов.^[1] Этот подход пока не является универсальным стандартом, но он точно формулирует инженерный урок области: забывание дешевле и надёжнее, когда оно предусмотрено в архитектуре, а не добавлено после развёртывания.

Научное и практическое значение

Машинное забывание меняет взгляд на обученную модель: она перестаёт быть статичным артефактом и становится объектом с управляемой историей данных. Для науки это создаёт вопросы о влиянии примеров, устойчивости оптимизации, проверяемости меморизации и связи между параметрами и знаниями. Для практики это часть инфраструктуры доверенного машинного обучения: организация должна уметь показать, какие данные использовались, какие модели они затронули и как было выполнено удаление.

Наиболее зрелые решения появляются там, где обучение заранее спроектировано для удаления: хранятся контрольные точки, шардирование не нарушает качество, известны зависимости между данными и артефактами. Самая сложная ситуация возникает в больших уже обученных моделях, где данные смешаны в параметрах, исходные корпуса частично недоступны, а проверка удаления сводится к ограниченному аудиту поведения.

Связь с другими направлениями

Дифференциальная приватность: Дифференциальная приватность заранее ограничивает влияние отдельного примера на результат обучения. Машинное забывание часто применяется после обучения, но формальные определения приближённого удаления используют похожую идею статистической неразличимости.

Функции влияния: Функции влияния оценивают вклад обучающей точки в параметры или предсказания. Они дают естественную аппроксимацию удаления, но становятся менее надёжными в сильно невыпуклых моделях.

Редактирование модели: Редактирование модели меняет отдельное знание или поведение. Оно может скрыть нежелательный ответ, но не обязательно создаёт модель, эквивалентную обучению без соответствующего источника.

MLOps: MLOps обеспечивает версионирование данных, признаков, моделей, кэшей, индексов и логов. Без такой инфраструктуры невозможно точно определить область действия запроса на забывание.

Открытые проблемы

К ключевым открытым вопросам относятся строгие гарантии для невыпуклых сетей, масштабируемое удаление в больших языковых и мультимодальных моделях, аудит скрытого знания, последовательные запросы без накопления ошибки, забывание в федеративном обучении и графовых моделях, а также стандартизация бенчмарков. После работ $2025$ – $2026$ особенно заметны ещё три трудности: защита от злонамеренно выбранных запросов на удаление, проверка retain–forget entanglement и различение истинного удаления знания от поведенческого подавления. Отдельная проблема — различение технического удаления влияния, юридического удаления данных и внешней фильтрации ответов: эти механизмы могут дополнять друг друга, но не являются взаимозаменяемыми.

См. также

Примечания

Литература

Cao Y., Yang J. Towards Making Systems Forget with Machine Unlearning // 2015 IEEE Symposium on Security and Privacy. 2015. P. 463–480.
Ginart A. A., Guan M. Y., Valiant G., Zou J. Making AI Forget You: Data Deletion in Machine Learning // Advances in Neural Information Processing Systems 32. 2019.
Guo C., Goldstein T., Hannun A., van der Maaten L. Certified Data Removal from Machine Learning Models // Proceedings of the 37th International Conference on Machine Learning. PMLR 119. 2020. P. 3832–3842.
Golatkar A., Achille A., Soatto S. Eternal Sunshine of the Spotless Net: Selective Forgetting in Deep Networks // IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. P. 9304–9312.
Bourtoule L., Chandrasekaran V., Choquette-Choo C. A., Jia H., Travers A., Zhang B., Lie D., Papernot N. Machine Unlearning // 2021 IEEE Symposium on Security and Privacy. 2021. P. 141–159.
Koh P. W., Liang P. Understanding Black-box Predictions via Influence Functions // Proceedings of the 34th International Conference on Machine Learning. PMLR 70. 2017. P. 1885–1894.
Neel S., Roth A., Sharifi-Malvajerdi S. Descent-to-Delete: Gradient-Based Methods for Machine Unlearning // Proceedings of the 32nd International Conference on Algorithmic Learning Theory. PMLR 132. 2021. P. 931–962.
Ullah E., Mai T., Rao A., Rossi R. A., Arora R. Machine Unlearning via Algorithmic Stability // Proceedings of Thirty Fourth Conference on Learning Theory. PMLR 134. 2021. P. 4126–4142.
Sekhari A., Acharya J., Kamath G., Suresh A. T. Remember What You Want to Forget: Algorithms for Machine Unlearning // Advances in Neural Information Processing Systems 34. 2021. P. 18075–18086.
Carlini N., Tramèr F., Wallace E., Jagielski M., Herbert-Voss A., Lee K., Roberts A., Brown T., Song D., Erlingsson Ú., Oprea A., Raffel C. Extracting Training Data from Large Language Models // 30th USENIX Security Symposium. 2021. P. 2633–2650.
Carlini N., Ippolito D., Jagielski M., Lee K., Tramèr F., Zhang C. Quantifying Memorization Across Neural Language Models // International Conference on Learning Representations. 2023.
Jia J., Liu J., Ram P., Yao Y., Liu G., Liu Y., Sharma P., Liu S. Model Sparsity Can Simplify Machine Unlearning // Advances in Neural Information Processing Systems 36. 2023.
Maini P., Feng Z., Schwarzschild A., Lipton Z. C., Kolter J. Z. TOFU: A Task of Fictitious Unlearning for LLMs. arXiv:2401.06121, 2024.
Shi W., Lee J., Huang Y., Malladi S., Zhao J., Holtzman A., Liu D., Zettlemoyer L., Smith N. A., Zhang C. MUSE: Machine Unlearning Six-Way Evaluation for Language Models. arXiv:2407.06460, 2024.
Li N. et al. The WMDP Benchmark: Measuring and Reducing Malicious Use with Unlearning // Proceedings of the 41st International Conference on Machine Learning. PMLR 235. 2024. P. 28525–28550.
Triantafillou E. et al. Are We Making Progress in Unlearning? Findings from the First NeurIPS Unlearning Competition. arXiv:2406.09073, 2024.
Liu S. et al. Rethinking machine unlearning for large language models // Nature Machine Intelligence. 2025. Vol. 7. P. 181–194.
Koloskova A., Allouah Y., Jha A., Guerraoui R., Koyejo S. Certified Unlearning for Neural Networks // Proceedings of the 42nd International Conference on Machine Learning. PMLR 267. 2025. P. 31275–31298.
Sendera M., Struski Ł., Książek K., Musiol K., Tabor J., Rymarczyk D. D. SEMU: Singular Value Decomposition for Efficient Machine Unlearning // Proceedings of the 42nd International Conference on Machine Learning. PMLR 267. 2025. P. 53843–53866.
Di Z., Yu S., Vorobeychik Y., Liu Y. Adversarial Machine Unlearning // International Conference on Learning Representations. 2025.
Huang Y., Liu D., Chua L., Ghazi B., Kamath P., Kumar R., Manurangsi P., Nasr M., Sinha A., Zhang C. Unlearn and Burn: Adversarial Machine Unlearning Requests Destroy Model Accuracy // International Conference on Learning Representations. 2025.
Ramakrishna A. et al. SemEval-2025 Task 4: Unlearning sensitive content from Large Language Models // Proceedings of the 19th International Workshop on Semantic Evaluation. Association for Computational Linguistics, 2025. P. 2584–2596.
Dorna V., Mekala A., Zhao W., McCallum A., Lipton Z. C., Kolter J. Z., Maini P. OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics. arXiv:2506.12618, 2025.
Zhou S., Yu T., Zhang Z., Chang H., Zhou X., Wu D., Zhao H. Efficient Utility-Preserving Machine Unlearning with Implicit Gradient Surgery // Advances in Neural Information Processing Systems 38. 2025.
Ren J., Xing Y., Cui Y., Aggarwal C. C., Liu H. SoK: Machine Unlearning for Large Language Models. arXiv:2506.09227, 2025.
Cheng J., Liu P., Li Q., Zhang C. Machine Unlearning under Retain-Forget Entanglement. arXiv:2603.26569, 2026.
Laguna S., da Silva Goncalves J., Vandenhirtz M., Ryser A., Cannistraci I., Vogt J. E. Rethinking Machine Unlearning: Models Designed to Forget via Key Deletion. arXiv:2603.15033, 2026.

Ссылки

Источник — «http://83.149.227.45/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%B7%D0%B0%D0%B1%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5»