Обсуждение:KV-кэширование
Материал из MachineLearning.
История создания статьи «KV-кэширование» с помощью LLM
Первый промпт к DeepSeek-V3 («Глубокое мышление» + «Умный поиск») был таким:
| Ты - профессор и популяризатор в области глубокого обучения. Напиши энциклопедическую статью для портала MachineLearning.ru на тему "KV-кэширование в трансформерах". Целевая аудитория - от студентов-новичков до практикующих инженеров. Статья должна давать чёткое определение KV-кэша, объяснять его роль в ускорении инференса авторегрессионных моделей (замена квадратичных вычислений на линейные обращения к памяти) и мотивацию использования (снижение латентности, рост пропускной способности). Опиши механизм работы: как ключи и значения предыдущих токенов сохраняются и повторно используются на каждом шаге декодирования. Классифицируй основные стратегии оптимизации KV-кэша. Освети современные вызовы: растущий объём памяти для длинных контекстов, баланс между сжатием и сохранением точности, а также аппаратные ограничения. Опиши ключевые форматы хранения и библиотеки. Обязательно добавь раздел с актуальными научными подходами. Используй строгий, но доступный академический стиль, структурируй материал с заголовками, внедри внутренние ссылки на смежные понятия и заверши разделом с библиографией из реальных источников. Важные формулы (например, сложность вычислений с кэшем и без него) оформи в LaTeX-подобном виде. Пиши так, как будто ты сам глубоко разбираешься в теме и делишься личным опытом, а не просто пересказываешь документацию - это должно быть полезно и эксперту, и новичку. |
Первая версия статьи получилась содержательной и структурно верной, однако при визуальной проверке выявились несколько проблем, потребовавших доработки.
Я составил второй промпт с перечнем конкретных правок:
|
| Доработай статью согласно следующим требованиям.
1. Удали все блок-схемы, так как на вики-страницах они отображаются некорректно. Вместо этого просто опиши процесс. 2. Все ссылки на статью о квантовании замени на Квантование нейронных сетей с сохранением отображаемого термина. 3. Раздел «Заключение» перепиши в более формальном академическом стиле, без предположительных и дискуссионных формулировок. 4. В разделе "Математическая формализация" фрагмент со сложностью вычислений и объёмом памяти, оформленный маркированным списком, замени на сплошной текст с формулами, чтобы избежать проблем с отображением. 5. Раздел "Литература" оформи в минималистичном формате: авторы, название, конференция/журнал, год, ссылка arXiv, краткая аннотация. Выведи исправленную вики-разметку статьи целиком. |
После второго промпта большая часть проблем была устранена. Я проверил все ссылки на arXiv - они корректны и ведут на соответствующие препринты.
Ручное вмешательство свелось к внесению минимальных правок. — Mihail Mishin 15:45, 26 июня 2026 (MSD)
