Обсуждение:Метод инерции Поляка

Материал из MachineLearning.

Работа велась в целью кардинально упростить промпт, перейдя от микроменеджмента к чистому «целеуказанию», а также протестировать, насколько хорошо модель опирается на прикрепленный RAG-контекст (PDF-лекцию).

Этап 1: Философский промпт и целеуказание

Модели был отправлен короткий запрос вместе с PDF-файлом Лекции 2:

Роль: Ты специалист в области машинного обучения, профессор и популяризатор науки. Задача: Написать вики-статью «Метод инерции Поляка (Momentum)» для новичков и профессионалов. Инструкция по смыслам: 1. Начни с наглядной физической аналогии «тяжёлого шарика», катящегося в минимум. 2. Приведи формулы обновления скорости и весов, строго опираясь на прикрепленную лекцию. 3. Опиши, как метод решает проблему «оврагов» и застревания в седловых точках. Обязательно укажи на важное свойство метода: немонотонность (ошибка может временно возрастать). 4. Проведи сравнение с Ускоренным градиентом Нестерова (NAG) — объясни логику «заглядывания вперёд». 5. Напиши лаконичный класс на Python, реализующий шаг оптимизатора Поляка. Технические ограничения: Используй MediaWiki-разметку. Абсолютно все переменные оборачивай в теги <tex>...</tex>.

Рефлексия по итогам этапа: Отказ от жесткой структуры сработал отлично — модель написала живой, понятный текст, однако выявилась фундаментальная проблема RAG (Retrieval-Augmented Generation): модель проигнорировала формулы из прикрепленной лекции. Вместо классической записи через экспоненциальное скользящее среднее с множителем <tex>(1 - \gamma)</tex>, модель выдала стандартную реализацию из исходников PyTorch (<tex>v = \gamma v + h \nabla L</tex>). Внутренняя параметрическая память LLM оказалась сильнее внешнего контекста. Кроме того, модель полностью проигнорировала сложную разметку тегами.

Этап 2: Техническая и академическая коррекция

Модели был отправлен строгий корректирующий промпт, для исправления формул соответствующим курсу:

Текст и аналогии написаны великолепно, но ты допустила критические ошибки. 1. ОШИБКА В ФОРМУЛАХ: Ты использовала реализацию PyTorch, проигнорировав прикрепленный PDF. Мне нужны классические формулы через экспоненциальное скользящее среднее. Исправь формулы Поляка на: v = \gamma v + (1 - \gamma) \nabla L(w). Исправь формулы Нестерова на: v = \gamma v + (1 - \gamma) \nabla L(w - h \gamma v). Код на Python тоже перепиши под эти формулы! 2. ОШИБКА РАЗМЕТКИ: Ты забыла теги! Абсолютно каждую формулу и переменную в тексте оберни в теги <tex>...</tex>. Выключные формулы начни с ::<tex>...</tex> 3. PYTHON КОД: Оберни код в теги <source lang="python"> и сохрани табуляцию. 4. В самое начало статьи добавь плашку {{well}}.

Этап 3: Финальная доработка

После второго промпта модель корректно исправила математический аппарат и привела код на Python в соответствие с лекциями К.В. Воронцова. Ручная доработка свелась лишь к проверке закрывающихся тегов и оформлению списка литературы по ГОСТу.

Polina Khadralinova 00:09, 7 июля 2026 (MSD)