Обсуждение:Машинное забывание
Материал из MachineLearning.
(Новая: == Промпт для подготовки статьи == Работа над статьёй начинается с подробного промпта, в котором заран...) |
(→Промпт для подготовки статьи) |
||
| Строка 6: | Строка 6: | ||
Напиши подробную академическую статью для machinelearning.ru в формате MediaWiki по теме «Контаминация бенчмарков больших языковых моделей». | Напиши подробную академическую статью для machinelearning.ru в формате MediaWiki по теме «Контаминация бенчмарков больших языковых моделей». | ||
| - | Целевая аудитория — студенты и специалисты по машинному обучению, анализу данных и прикладной математике. Стиль — энциклопедический, строгий, но понятный новичку. | + | Целевая аудитория — студенты и специалисты по машинному обучению, анализу данных, обработке естественного языка и прикладной математике. Стиль — энциклопедический, строгий, но понятный новичку. |
Все формулы, переменные, индексы и математические обозначения оформляй только через <nowiki><tex>...</tex></nowiki>. Важные термины оформляй как внутренние ссылки <nowiki>[[...]]</nowiki>. | Все формулы, переменные, индексы и математические обозначения оформляй только через <nowiki><tex>...</tex></nowiki>. Важные термины оформляй как внутренние ссылки <nowiki>[[...]]</nowiki>. | ||
| - | Добавь преамбулу с определением | + | Добавь преамбулу с точным определением темы и объяснением, почему контаминация бенчмарков важна для оценки больших языковых моделей. После преамбулы добавь <nowiki>__TOC__</nowiki>. |
| - | + | Структуру статьи выбери самостоятельно, но обязательно раскрой разделы: «Терминология и базовые понятия», «Исследовательский контекст», «Причины и источники контаминации», «Виды контаминации», «Математическое описание задачи», «Влияние на оценку качества моделей», «Методы обнаружения контаминации», «Методы предотвращения и деконтаминации», «Практический протокол аудита бенчмарка», «Ограничения существующих методов», «Типичные ошибки при оценке LLM», «Современные исследования и примеры», «Значение для науки и практики», «См. также», «Примечания» с <nowiki><references /></nowiki>, «Литература», «Ссылки» и категории. | |
| - | Статья должна быть | + | Используй таблицы MediaWiki там, где они помогают: например, для сравнения видов контаминации, методов обнаружения, этапов аудита или типичных ошибок. |
| + | |||
| + | Используй только реальные надёжные источники: статьи ACL, EMNLP, NAACL, NeurIPS, ICML, ICLR, JMLR, TMLR, AAAI, KDD, WWW, arXiv-препринты известных исследовательских групп, технические отчёты крупных организаций, официальные страницы датасетов, бенчмарков и проектов. Источники оформляй через <nowiki><ref name="...">...</ref></nowiki>. Не выдумывай авторов, названия, годы, DOI, конференции, ссылки и репозитории. | ||
| + | |||
| + | Обязательно различай близкие понятия: контаминацию обучающей выборки, утечку тестовых данных, memorization, data leakage, benchmark overfitting, prompt leakage и intentional benchmark gaming. Если термин имеет несколько трактовок, объясни их нейтрально и со ссылками. | ||
| + | |||
| + | Статья должна быть содержательной, интересной, без воды, повторов и следов LLM. Итог выдай сразу полным MediaWiki-кодом, готовым для вставки на страницу. | ||
</div> | </div> | ||
Текущая версия
Промпт для подготовки статьи
Работа над статьёй начинается с подробного промпта, в котором заранее заданы тема, целевая аудитория, стиль, структура, требования к оформлению формул, внутренних ссылок и научных источников.
Напиши подробную академическую статью для machinelearning.ru в формате MediaWiki по теме «Контаминация бенчмарков больших языковых моделей».
Целевая аудитория — студенты и специалисты по машинному обучению, анализу данных, обработке естественного языка и прикладной математике. Стиль — энциклопедический, строгий, но понятный новичку.
Все формулы, переменные, индексы и математические обозначения оформляй только через <tex>...</tex>. Важные термины оформляй как внутренние ссылки [[...]].
Добавь преамбулу с точным определением темы и объяснением, почему контаминация бенчмарков важна для оценки больших языковых моделей. После преамбулы добавь __TOC__.
Структуру статьи выбери самостоятельно, но обязательно раскрой разделы: «Терминология и базовые понятия», «Исследовательский контекст», «Причины и источники контаминации», «Виды контаминации», «Математическое описание задачи», «Влияние на оценку качества моделей», «Методы обнаружения контаминации», «Методы предотвращения и деконтаминации», «Практический протокол аудита бенчмарка», «Ограничения существующих методов», «Типичные ошибки при оценке LLM», «Современные исследования и примеры», «Значение для науки и практики», «См. также», «Примечания» с <references />, «Литература», «Ссылки» и категории.
Используй таблицы MediaWiki там, где они помогают: например, для сравнения видов контаминации, методов обнаружения, этапов аудита или типичных ошибок.
Используй только реальные надёжные источники: статьи ACL, EMNLP, NAACL, NeurIPS, ICML, ICLR, JMLR, TMLR, AAAI, KDD, WWW, arXiv-препринты известных исследовательских групп, технические отчёты крупных организаций, официальные страницы датасетов, бенчмарков и проектов. Источники оформляй через <ref name="...">...</ref>. Не выдумывай авторов, названия, годы, DOI, конференции, ссылки и репозитории.
Обязательно различай близкие понятия: контаминацию обучающей выборки, утечку тестовых данных, memorization, data leakage, benchmark overfitting, prompt leakage и intentional benchmark gaming. Если термин имеет несколько трактовок, объясни их нейтрально и со ссылками.
Статья должна быть содержательной, интересной, без воды, повторов и следов LLM. Итог выдай сразу полным MediaWiki-кодом, готовым для вставки на страницу.
