Вероятностные языковые модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Вероятностный латентный семантический анализ)
Текущая версия (19:43, 20 октября 2026) (править) (отменить)
(→Тематический информационный поиск)
 
(369 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Курс читается студентам 2—4 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМК МГУ)|Математические методы прогнозирования]]» [[ВМК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[МФТИ]] с 2019 года.
-
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.
+
C 2026 года курс на ВМК называется «Вероятностные языковые модели». Прежнее название «Вероятностные тематические модели».
-
Условием сдачи спецкурса является выполнение обязательных практических заданий.
+
Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).
-
= Программа курса =
+
Наиболее подробно в курсе изучается вероятностное [[тематическое моделирование]] (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] ([[ARTM]]). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
-
== Часть 1 ==
+
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.
-
=== Задачи анализа текстов. Вероятностные модели коллекций текстов ===
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
'''Задачи классификации текстов.'''
+
'''Основной материал:'''
-
* Коллекция текстовых документов. Векторное представление документа.
+
* ''К.В.Воронцов.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. — учебник по курсу {{важно|— обновление 29.12.2025}}.
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка. Распознавание текстов заданной тематики. Анализ тональности. Частоты слов (терминов) как признаки. Линейный классификатор.
+
* ''К.В.Воронцов.'' [[Media:voron26survey-artm.pdf|Аддитивная регуляризация тематических моделей: теория и приложения]]. — обзорная статья по ARTM {{важно|— обновление 01.05.2026}}.
-
* Задача распознавание жанра текстов. Распознавание научных текстов. Примеры признаков.
+
* ''К.В.Воронцов.'' [[Media:voron26aartm.pdf|Тематические модели локального контекста]]. — препринт про Attentive ARTM. {{важно|— обновление 19.05.2026}}.
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYFeH50yAki9uSrk7PrjBUoL Плейлист видеозаписей, 2025 осень (МФТИ)].
-
'''Задачи предварительной обработки текстов.'''
+
= Программа курса =
-
* Очистка: удаление номеров страниц, переносов, опечаток, нетекстовой информация, оглавлений, таблиц, рисунков.
+
-
* Лемматизация и стемминг.
+
-
* Удаление стоп-слов. Удаление редких слов.
+
-
'''Задачи информационного поиска.'''
+
== Оптимизация и регуляризация языковых моделей ==
-
* Задача поиска документов по запросу. Инвертированный индекс. Косинусная мера сходства.
+
Презентация: [[Media:Voron26plm01-intro.pdf|(PDF, 3,4 МБ)]] {{важно|— обновление 02.03.2026}}.
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
<!--[https://youtu.be/Xit8NqCvdyA?t=74 Видеозапись 2025]-->
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
'''Задачи языкового моделирования.'''
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
* Частотные языковые модели. Гипотеза «мешка слов».
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* Униграммная модель документов и коллекции. Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
* [[Условия Каруша–Куна–Таккера]]. Вывод частотных оценок.
 +
* Задача [[Тематическое моделирование|тематического моделирования]].
-
'''Литература:''' [Маннинг, 2011].
+
'''Аддитивная регуляризация тематических моделей.'''
 +
* Лемма о максимизации на единичных симплексах.
 +
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
 +
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
 +
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
 +
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
=== Вероятностный латентный семантический анализ ===
+
'''Практика тематического моделирования.'''
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
* Проект с открытым кодом BigARTM.
 +
* Этапы решения практических задач.
 +
* Методы предварительной обработки текста.
 +
* Датасеты и практические задания по курсу.
-
'''Мотивации вероятностного тематического моделирования
+
== Языковые модели парной сочетаемости слов ==
-
* Идея перехода от вектора (терминов) к вектору тем.
+
Презентация: [[Media:Voron26plm02-biterm.pdf|(PDF,&nbsp;2,3&nbsp;МБ)]] {{важно|— обновление 17.09.2026}}.
-
* Цели тематического моделирования: поиск научной информации, агрегирование и анализ новостных потоков, формирование сжатых признаковых описаний документов для классификации и категоризации текстовых документов, обход проблем синонимии и омонимии.
+
-
'''Задача тематического моделирования.'''
+
'''Когерентность как мера интерпретируемости'''
-
* Вероятностное пространство. Тема как латентная (скрытая) переменная. Представление темы дискретным распределением на множестве слов.
+
* Измерение интерпретируемости тем. Когерентность Ньюмана.
-
* Модель смеси униграмм. Недостаток: каждый документ принадлежит только одной теме.
+
* Семейство средневзвешенных когерентностей.
-
* Представление документа дискретным распределением на множестве тем. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
* Текстовая когерентность (intra-text coherence).
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
* Терм-парные частоты (term-pair frequency).
 +
* Калибровка текстовой когерентности.
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Модели векторных представлений слов.'''
-
* Частотные оценки условных вероятностей терминов тем и тем документов. Формула Байеса для апостериорной вероятности темы. Элементарное обоснование ЕМ-алгоритма.
+
* Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Эквивалентная задача матричного разложения.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
* Оценивание качества векторных представлений слов.
 +
* FastText и другие модели векторных представлений текста.
-
'''Проведение экспериментов на модельных данных.'''
+
'''Тематические модели дистрибутивной семантики.'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
* Сравнение WN-ARTM с моделью word2vec.
 +
* Регуляризаторы когерентности.
 +
<!--'''Мультиграммные модели и выделение терминов.'''
 +
* Контактная близость слов. Критерии выделения коллокаций.
 +
* Алгоритм TopMine для быстрого поиска частых фраз.
 +
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
 +
-->
-
'''Задание 1.1'''
+
== Тематические модели локального контекста ==
-
Обязательные пункты: 1–3 и любой из последующих.
+
Презентация: [[Media:Voron26plm03-local.pdf|(PDF,&nbsp;4,2&nbsp;МБ)]] {{важно|— обновление 24.09.2026}}.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
-
# Реализовать рациональный ЕМ-алгоритм.
+
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на точность модели и точность восстановления. Построить для них эмпирические распределения и доверительные интервалы. Можно ли утверждать, что EM-алгоритм всегда сходится к одному и тому же решению?
+
-
# Исследовать, когда проблема неустойчивости возникает, когда не возникает.
+
-
'''Задание для 4 курса ФУПМ:''' [[Media:voron-2014-task-PTM.pdf|voron-2014-task-PTM.pdf]]
+
'''Тематические модели «мешка слов».'''
 +
* Постановка задачи ARTM.
 +
* Ускорение сходимости EM-алгоритма. Подстановка несмещённых оценок.
 +
* Онлайновая параллельная пакетная асинхронная реализация EM-алгоритма.
 +
* Идея матричной реализации EM-алгоритма.
-
'''Литература:''' [Hofmann, 1999].
+
'''Тематическая модель локального контекста.'''
 +
* Модель быстрой тематизации документа за один линейный проход.
 +
* Контекстная тематическая модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
 +
* Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
 +
* Сравнение со свёрточной сетью GCNN.
 +
* Псевдокод пакетного EM-алгоритма AARTM.
-
===Модификации алгоритма обучения модели PLSA===
+
'''Коэффициенты внимания и эксперименты.'''
 +
* Быстрое вычисление двунаправленных тематических векторов контекста.
 +
* Обучение весов внимания, Adaptive Attentive ARTM.
 +
* Эксперименты с AARTM и AAARTM.
 +
<!--* Сравнение с нейросетевой тематической моделью Contextual-Top2Vec.
 +
* Сравнение с контекстной документной кластеризацией (CDC).
 +
-->
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
== Оценивание качества тематических моделей ==
 +
Презентация: [[Media:Voron26plm04-quality.pdf|(PDF,&nbsp;0,8&nbsp;МБ)]] {{важно|— обновление 8.10.2026}}.
 +
[https://youtu.be/OoIetK1pTUA видеозапись]
-
'''Обобщённый ЕМ-алгоритм (GEM).'''
+
'''Измерение качества тематических моделей.'''
-
* Проблема медленной сходимости EM-алгоритма на больших коллекциях. Проблема хранения трёхмерных матриц.
+
* Правдоподобие и перплексия.
-
* Эвристика частых обновлений параметров.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
-
* Эвристика замены средних экспоненциальным сглаживанием.
+
* Разреженность и различность.
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
'''Проверка гипотезы условной независимости.'''
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
* Проверка гипотезы согласия для языковой модели.
-
* Эвристика замены апостериорного распределения его несмещённой оценкой.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Алгоритм сэмплирования Гиббса.
+
* Применение статистических тестов условной независимости.
-
* Эксперименты по подбору оптимального числа сэмплирований.
+
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Проблема тематической несбалансированности в данных'''
-
* Проблема больших данных.
+
* Проблема малых тем и тем-дубликатов.
-
* Эвристика разделения М-шага.
+
* Тематическая несбалансированность как основная причина плохой интерпретируемости тем.
-
* Эвристика разделения коллекции на пачки документов.
+
* Эксперименты с регуляризаторами отбора тем и декоррелирования.
-
* Добавление новых документов (folding-in).
+
* Регуляризатор семантической однородности.
 +
* Подходы к балансировке тем.
-
'''Способы формирования начальных приближений.'''
+
== Регуляризаторы и устойчивость моделей ==
-
* Случайная инициализация.
+
Презентация: [[Media:Voron26plm05-regular.pdf|(PDF,&nbsp;1,2&nbsp;МБ)]] {{важно|— обновление 15.10.2026}}.
-
* Инициализация по документам.
+
[https://youtu.be/5DXhffGMjBM видеозапись]
-
'''Частичное обучение (Semi-supervised EM).'''
+
'''Часто используемые регуляризаторы.'''
-
* Виды частично размеченных данных: привязка документа к темам, привязка термина к темам, нерелевантность, переранжирование списков терминов тем и тем документов, виртуальные документы.
+
* Разделение тем на предметные и фоновые.
-
* Использование частично размеченных данных для инициализации.
+
* Сглаживание и разреживание. Частичное обучение.
-
* Использование частично размеченных данных в качестве поправок на М-шаге ЕМ-алгоритма.
+
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
 +
* Расстояния и дивергенции между дискретными распределениями.
-
'''Задание 1.2'''
+
'''Комбинирование регуляризаторов.'''
-
Обязательные пункты: 1 и любой из последующих.
+
* Траектории регуляризации.
-
# Реализовать онлайновый алгоритм OEM.
+
* Относительные коэффициенты регуляризации.
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
* Эксперименты с комбинированием разреживания, сглаживания, декоррелирования.
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
* Эмпирические рекомендации по комбинированию регуляризаторов.
-
# Исследовать возможность улучшения качество модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
-
# Исследовать влияние частичной разметки на точность модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения точности и устойчивости модели.
+
-
'''Литература:''' [Hoffman, 2010].
+
'''Эксперименты с тематическими моделями.'''
 +
* Исследование устойчивости восстановления тем на синтетических данных.
 +
* Исследование устойчивости на реальных данных.
 +
* Эксперименты с отбором тем. Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
===Разреживание и сглаживание===
+
== Тематический информационный поиск ==
 +
Презентация: [[Media:Voron26plm06-exps.pdf|(PDF,&nbsp;9,4&nbsp;МБ)]] {{важно|— обновление 20.10.2026}}.
 +
[https://youtu.be/lckh814p-7I видеозапись]
-
'''Разреживание'''
+
'''Мультимодальные тематические модели.'''
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
* Примеры модальностей.
-
* Гипотеза разреженности распределений терминов тем и тем документов.
+
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
* Принудительное разреживание в ЕМ-алгоритме. Оценка значимости (salience) параметров, метод [[OBD|Optimal Brain Damage]].
+
-
* Выделение нетематических терминов.
+
-
* Генерация реалистичных модельных данных.
+
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
-
'''Сглаживание'''
+
'''Иерархические тематические модели.'''
-
* Модель латентного размещения Дирихле LDA.
+
* Иерархии тем. Послойное построение иерархии.
-
* Свойства распределения Дирихле, сопряжённость с мультиномиальным распределением.
+
* Регуляризаторы для разделения тем на подтемы.
-
* Байесовский вывод. Сглаженные частотные оценки условных вероятностей.
+
* Псевдодокументы родительских тем.
-
* Максимизация обоснованности модели. Численные методы оптимизации гиперпараметров.
+
* Модальность родительских тем.
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
* Тематический спектр
-
* Дилемма разреживания и сглаживания.
+
-
'''Задание 1.3'''
+
'''Эксперименты с тематическим поиском.'''
-
Обязательные пункты: 1 и любой из остальных.
+
* Методика измерения качества поиска.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
* Тематическая модель для документного поиска.
-
# Исследовать зависимость точности модели и точности восстановления от степени разреженности исходных модельных данных.
+
* Оптимизация гиперпараметров.
-
# Исследовать влияние разреживания на точность модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на точность модели.
+
<!--
-
# Исследовать влияние сглаживания на точность модели и точность восстановления.
+
'''Задачи тематизации текстовых коллекций'''
 +
* Проект «Мастерская знаний». Тематизация подборок научных публикаций.
 +
* Поиск этно-релевантных тем в социальных сетях
 +
* Тематизация в социо-гуманитарных исследованиях-->
-
'''Литература:''' [Blei, 2003].
+
== Время, сегменты, транзакции ==
 +
Презентация: [[Media:Voron26plm10-misc.pdf|(PDF,&nbsp;2,6&nbsp;МБ)]] {{важно|— обновление 4.05.2026}}.
-
===Внутренние методы оценивания качества===
+
'''Темпоральные тематические модели'''
 +
* Регуляризаторы времени.
 +
* Обнаружение и отслеживание тем.
-
'''Реальные данные.'''
+
'''Позиционный регуляризатор в ARTM'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Гипотеза о сегментной структуре текста.
-
* Внутренние и внешние критерии качества.
+
* Регуляризация матрицы тематических векторов термов. Формулы М-шага.
-
* Дополнительные данные для построения внешних критериев качества.
+
* Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
'''Перплексия и правдоподобие.'''
+
'''Тематические модели транзакционных данных'''
-
* Определение и интерпретация перплекcии.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
 +
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Когерентность.'''
+
== Нейросетевые языковые модели ==
-
* Определение когерентности.
+
Презентация: [[Media:Voron26plm03-neural.pdf|(PDF,&nbsp;6,8&nbsp;МБ)]] {{важно|— обновление 23.03.2026}}.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
-
* Способы оценивания совместной встречаемости слов.
+
-
''' Оценивание качества темы.'''
+
'''Краткое введение в машинное обучение.'''
-
* Контрастность темы (число типичных документов темы, число типичных терминов темы).
+
* Минимизация эмпирического риска. Метод стохастического градиента.
-
* Пиковость темы.
+
* Искусственные нейронные сети. Линейная модель нейрона. Многослойный персептрон.
-
* Однородность (радиус) темы.
+
* Глубокие нейронные сети. Свёрточные сети для анализа изображений.
-
* Конфликтность темы (близость темы к другим темам).
+
* Обучаемая векторизация данных. Автокодировщики.
-
'''Статистические тесты условной независимости.'''
+
'''Нейросетевые модели языка.'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона. Матрица кросс-табуляции «термины–документы» для заданной темы.
+
* Модель машинного перевода. Модель внимания QKV. Архитектура трансформера. Кодировщик и декодировщик.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Критерии обучения в машинном переводе.
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Алгоритм вычисления квантилей распределения статистики Кресси-Рида.
+
-
* Рекуррентное вычисление статистики Кресси-Рида.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Тематические модели локального контекста.'''
 +
* Эволюция тематического моделирования.
 +
* Нейросетевая тематическая модель Contextual-Top2Vec.
 +
* Постановка задачи контекстного тематического моделирования.
-
===Внешние методы оценивания качества===
+
== Проект «Тематизатор» ==
 +
Презентация: [[Media:Voron26plm08-project.pdf|(PDF,&nbsp;8,3&nbsp;МБ)]] {{важно|— обновление 20.04.2026}}.
 +
[https://youtu.be/0BEIkS3OZZY Видеозапись]
-
'''Оценивание интерпретируемости тематических моделей.'''
+
'''Примеры прикладных задач'''
-
* Корректность определения асессорами лишних терминов в темах и лишних тем в документах.
+
* Обзор регуляризаторов ARTM.
-
* Визуализация тематических моделей.
+
* Поиск этно-релевантных тем в социальных сетях.
 +
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Тематическое моделирование в исторических и политологических исследованиях.
 +
* Проекты Школы Прикладного Анализа Данных.
-
'''Критерии качества классификации и ранжирования.'''
+
'''Визуализация тематических моделей'''
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
* Визуализация матричного разложения.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
* Динамика, иерархии, взаимосвязи, сегментация.
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
* Спектр тем.
-
'''Задание 1.4.'''
+
'''Анализ требований к «Тематизатору»'''
-
# Применить OEM к реальным коллекциям.
+
* Функциональные требования.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
* Требования к интерпретируемости.
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
* Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
 +
* Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
 +
* Этапизация работ и MVP Тематизатора.
-
'''Литература:''' [Blei, 2003].
+
== Открытые проблемы PTM и проект «A*RTM» ==
 +
Презентация: [[Media:Voron26plm09-open.pdf|(PDF,&nbsp;6,2&nbsp;МБ)]] {{важно|— обновление 27.04.2026}}.
-
===Робастные тематические модели===
+
'''Тематические и нейросетевые модели языка'''
-
''Робастность'' — устойчивость модели к нарушениям исходных предпосылок, заложенных в основу модели.
+
* Эволюция тематического моделирования.
 +
* Открытые проблемы и проект A*RTM.
 +
* Задачи именования и суммаризации тем.
-
'''Робастная тематическая модель с фоном и шумом'''
+
'''Модели локальных контекстов'''
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Тематическая модель локальных контекстов.
-
* Аддитивный и мультипликативный М-шаг.
+
* Нейросетевые модели внимания.
-
* Оценки тематичности слов.
+
* Нейросетевая модель Contextual-Top2Vec.
-
* Эксперименты: робастная модель не нуждается в регуляризации и более устойчива к разреживанию.
+
-
'''Разреженная робастная тематическая модель с шумом'''
+
'''О некоторых задачах обучения без учителя'''
-
* Максимизация правдоподобия для упрощённой робастной модели.
+
* Контекстная кластеризация текстов.
-
* Вычисление перплексии для упрощённой робастной модели.
+
* Кластеризация.
 +
* Понижение размерности.
-
'''Робастная тематическая модель с усечёнными распределениями'''
+
<!--
-
* Явления синонимии, взаимной заменяемости терминов, эффект burstiness.
+
== Обзор вероятностных моделей языка ==
-
* Гипотеза об усечённых распределениях терминов тем в документах как ослабление гипотезы условной независимости.
+
* Токенизация; n-граммы, коллокации, словосочетания, термины. Алгоритм TopMine.
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Модификация ЕМ-алгоритма.
+
* Перплексия.
 +
* Эмпирические законы Ципфа и Хипса.
 +
* Модели релевантности текста TF-IDF, BM-25, PageRank, TextRank.
 +
-->
-
'''Задание 1.5'''
+
= Дополнительные лекции =
-
Обязательные пункты: 1,2 и любой из остальных.
+
-
# Реализовать генерацию модельных данных с фоном и шумом.
+
-
# Реализовать робастный алгоритм OEM.
+
-
# Исследовать зависимость точности робастной модели и точности восстановления от параметров априорной вероятности фона и шума. Что происходит с точностью модели, когда эти параметры «плохо угаданы»?
+
-
# Исследовать возможность оптимизации параметров априорной вероятности шума и фона.
+
-
# Исследовать зависимость перплексии и качества поиска от априорной вероятности шума.
+
-
# Исследовать влияние разреживания тематической компоненты робастной модели на перплексию и качество поиска.
+
-
'''Литература:''' [Chemudugunta, 2006].
+
== BigARTM и базовые инструменты ==
 +
''Мурат Апишев''.
 +
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
 +
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
== Часть 2 ==
+
'''Предварительная обработка текстов'''
 +
* Парсинг «сырых» данных.
 +
* Токенизация, стемминг и лемматизация.
 +
* Выделение энграмм.
 +
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
===Аддитивная регуляризация тематических моделей===
+
'''Библиотека BigARTM'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. KL-дивергенция. PLSA. EM-алгоритм.
+
* Методологические рекоммендации по проведению экспериментов.
 +
* Установка [[BigARTM]].
 +
* Формат и импорт входных данных.
 +
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
'''Тихоновская регуляризация.'''
+
'''Дополнительный материал:'''
-
* Некорректность постановки задачи тематического моделирования.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}.
-
* Аддитивная регуляризация.
+
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
-
* Общая формула M-шага для регуляризованного ЕМ-алгоритма.
+
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
* Концепция композитных многофункциональных тематических моделей.
+
-
'''Сглаживание и разреживание.'''
+
== Проект «Мастерская знаний» ==
-
* Сглаживание. Альтернативное обоснование LDA через регуляризатор–дивергенцию.
+
Презентация: [[Media:Voron25ptm-kf.png|(PNG,&nbsp;8,1&nbsp;МБ)]] {{важно|— обновление 3.03.2025}}.
-
* Разреживание. Энтропийный регуляризатор.
+
-
* Частичное обучение как выборочное сглаживание.
+
-
'''Ковариационные регуляризаторы.'''
+
'''Проект «Мастерская знаний»'''
-
* Антиковариация тем.
+
* Цели, задачи, концепция проекта. Тематические подборки научных текстов.
-
* Корреляция документов.
+
* Модель векторизации текста для поиска и рекомендаций научных статей.
-
* Тематические модели цитирования.
+
* Основные сервисы «Мастерской знаний».
-
===Синтаксические тематические модели===
+
'''Место тематического моделирования в «Мастерской знаний»'''
 +
* Сервис тематизации подборки.
 +
* Сервисы выявления научных трендов и построения хронологических карт.
 +
* Вспомогательные функции в сервисе полуавтоматической суммаризации.
-
'''Энграммные модели.'''
+
'''Карты знаний'''
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
* Задачи иерархической суммаризации одной статьи, подборки статей.
-
* Морфологический анализ текста.
+
* Принципы построения интеллект-карт и карт знаний.
-
* Синтаксический анализ текста. Выявление подчинительных связей.
+
* Что такое «тема»? Отличия тематизации и картирования.
-
* Статистические методы поиска коллокаций. Критерий C-Value.
+
-
* Совмещённый статистический критерий TF-IDF & CValue.
+
-
* Энграммный онлайновый алгоритм на основе синтаксического анализа и фильтрации терминов путём разреживания.
+
-
* Влияние выделения ключевых фраз на качество модели и интерпретируемость тем.
+
-
'''Марковские модели синтаксиса.'''
+
== Теория ЕМ-алгоритма ==
-
* Коллокации
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
-
* Оценивание матрицы переходных вероятностей.
+
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
===Регуляризация для задач классификации===
+
'''Общий EM-алгоритм.'''
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
* EM-алгоритм для максимизации неполного правдоподобия.
 +
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
 +
* Альтернативный вывод формул ARTM.
-
'''Простейшие модели.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Примеры классов: годы, авторы, категории, и т.д.
+
* Проблема неустойчивости (на синтетических данных).
-
* Моделирование классов темами.
+
* Проблема неустойчивости (на реальных данных).
-
* Моделирование классов распределениями тем.
+
* Проблема переобучения и робастные модели.
-
* Автор-тематическая модель.
+
-
* Многоклассовые задачи. Частотный регуляризатор.
+
-
'''Тематическая модель классификации.'''
+
== Байесовское обучение модели LDA ==
-
* Тематическая модель распределения классов документа. Вероятностная интерпретация.
+
Презентация: [[Media:Voron25ptm-bayes.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 7.12.2025}}.
-
* Тематическая модель цитирования документов.
+
[https://youtu.be/Je8o6-qgb7Q видеозапись]
-
* Тематическая модель цитирования авторов.
+
-
* Тематическая модель категоризации. Ковариационный регуляризатор.
+
-
===Динамические тематические модели===
+
'''Классические модели PLSA, LDA.'''
 +
* Модель PLSA.
 +
* Модель LDA. Распределение Дирихле и его свойства.
 +
* Максимизация апостериорной вероятности для модели LDA.
-
'''Модели с дискретным временем.'''
+
'''Вариационный байесовский вывод.'''
-
* Модель с фиксированной тематикой.
+
* Основная теорема вариационного байесовского вывода.
-
* Модель с медленно меняющейся тематикой.
+
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
-
'''Модели с непрерывным временем.'''
+
'''Сэмплирование Гиббса.'''
 +
* Основная теорема о сэмплировании Гиббса.
 +
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
-
===Иерархические тематические модели===
+
'''Замечания о байесовском подходе.'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* Оптимизация гиперпараметров в LDA.
 +
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
 +
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.
-
'''Тематическая модель с фиксированной иерархией.'''
+
=Отчетность по курсу=
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
* Задача построения иерархического тематического профиля документа.
+
-
* Задача построения одного уровня иерархии. Аналитическое решение задачи максимизации правдоподобия, формулы M-шага.
+
-
* Онлайновый иерархический EM-алгоритм.
+
-
* Необходимость частичного обучения для задачи категоризации.
+
-
* Необходимость разреживания для построения иерархического тематического профиля документа.
+
-
'''Сетевые иерархические модели.'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
-
* Возможность для темы иметь несколько родительских тем.
+
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
-
* Дивергенция Кульбака–Лейблера. Свойства KL-дивергенции.
+
* Описание простого решения baseline
-
* Интерпретация KL-дивергенции как степени вложенности распределений. Оценивание силы связей «тема-подтема» KL-дивергенцией.
+
* Описание основного решения и его вариантов
-
* Дополнение тематического дерева до тематической сети.
+
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
'''Иерархические процессы Дирихле.'''
+
'''Примеры отчётов:'''
-
* Оптимизация числа тем в плоской модели.
+
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
-
* Создание новых тем в иерархических моделях.
+
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
-
* Нисходящие и восходящие иерархические модели.
+
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
===Многоязычные тематические модели===
+
=Литература=
-
* Параллельные тексты.
+
-
* Сопоставимые тексты.
+
-
* Регуляризация матрицы переводов слов.
+
-
===Многомодальные тематические модели===
+
# ''Воронцов К. В.'' [https://urss.ru/cgi-bin/db.pl?page=Book&id=305674 Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM]. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
-
* Коллаборативная фильтрация.
+
# ''Воронцов К. В.'' [[Media:voron26survey-artm.pdf|Аддитивная регуляризация тематических моделей: теория и приложения]]. 2026.
-
* Модель научной социальной сети.
+
# ''Xiaobao Wu, Thong Nguyen, Anh Tuan Luu.'' [https://arxiv.org/abs/2401.15351 A Survey on Neural Topic Models: Methods, Applications, and Challenges]. 2023.
-
* Персонализация рекламы в Интернете.
+
# ''Rob Churchill, Lisa Singh.'' [https://dl.acm.org/doi/10.1145/3507900 The Evolution of Topic Modeling]. 2022.
 +
# ''He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine.'' [https://arxiv.org/abs/2103.00498 Topic Modelling Meets Deep Neural Networks: A Survey]. 2021.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
===Распараллеливание алгоритмов обучения тематических моделей===
+
'''Дополнительная литература'''
-
* Основы Map-Reduce
+
-
* Распределённое хранение коллекции.
+
-
 
+
-
==Литература==
+
-
'''Основная литература'''
+
 +
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
 +
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 
-
 
-
'''Дополнительная литература'''
 
-
# Воронцов К. В., Потапенко А. А. Регуляризация, робастность и разреженность вероятностных тематических моделей // Компьютерные исследования и моделирование 2012 Т. 4, №12. С 693–706.
 
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
-
# Zavitsanos E., Paliouras G., Vouros G. A. Non-parametric estimation of topic hierarchies from texts with hierarchical Dirichlet processes // Journal of Machine Learning Research. — 2011. — Vol. 12. — Pp. 2749–2775.
+
-->
-
== Ссылки ==
+
= Ссылки =
* [[Тематическое моделирование]]
* [[Тематическое моделирование]]
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
* [[Аддитивная регуляризация тематических моделей]]
-
* Презентация доклада на семинаре в [http://www2.viniti.ru ВИНИТИ РАН], 23 апреля 2013. '''[[Media:voron-viniti-23apr2013.pdf|(PDF,&nbsp;2.0&nbsp;МБ)]]'''.
+
-
 
+
-
== См. также ==
+
* [[Коллекции документов для тематического моделирования]]
* [[Коллекции документов для тематического моделирования]]
 +
* [[BigARTM]]
-
{{Stub}}
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
 
 +
Обзорная лекция:
 +
* 28 января 2026. Тематические и нейросетевые вероятностные языковые модели: курс на сближение. [http://seminar.railab.ru/ Проблемы искусственного интеллекта] — совместный научный семинар Российской ассоциации искусственного интеллекта и ФИЦ «Информатика и управление» РАН. '''[[Media:voron-2026-01-26.pdf|(PDF,&nbsp;7.3&nbsp;МБ)]]'''. '''[https://rutube.ru/video/229003c057f51029270678a45617dcbf Видеозапись]'''.
 +
 
 +
Старое:
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 +
 
 +
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
 +
 +
<!---------------------------------------------------
 +
 +
'''Модели связного текста.'''
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 +
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
 +
 +
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
 +
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
 +
 +
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
 +
 +
== Инициализация, траектория регуляризации, тесты адекватности ==
 +
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
'''Траектория регуляризации.'''
 +
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
 +
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
 +
 +
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
 +
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
 +
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
 +
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Курс читается студентам 2—4 курсов на кафедре «Математические методы прогнозирования» ВМК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» МФТИ с 2019 года.

C 2026 года курс на ВМК называется «Вероятностные языковые модели». Прежнее название «Вероятностные тематические модели».

Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).

Наиболее подробно в курсе изучается вероятностное тематическое моделирование (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (ARTM). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Оптимизация и регуляризация языковых моделей

Презентация: (PDF, 3,4 МБ) — обновление 02.03.2026.

Задачи языкового моделирования.

Аддитивная регуляризация тематических моделей.

  • Лемма о максимизации на единичных симплексах.
  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Языковые модели парной сочетаемости слов

Презентация: (PDF, 2,3 МБ) — обновление 17.09.2026.

Когерентность как мера интерпретируемости

  • Измерение интерпретируемости тем. Когерентность Ньюмана.
  • Семейство средневзвешенных когерентностей.
  • Текстовая когерентность (intra-text coherence).
  • Терм-парные частоты (term-pair frequency).
  • Калибровка текстовой когерентности.

Модели векторных представлений слов.

  • Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
  • Эквивалентная задача матричного разложения.
  • Оценивание качества векторных представлений слов.
  • FastText и другие модели векторных представлений текста.

Тематические модели дистрибутивной семантики.

  • Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
  • Сравнение WN-ARTM с моделью word2vec.
  • Регуляризаторы когерентности.

Тематические модели локального контекста

Презентация: (PDF, 4,2 МБ) — обновление 24.09.2026.

Тематические модели «мешка слов».

  • Постановка задачи ARTM.
  • Ускорение сходимости EM-алгоритма. Подстановка несмещённых оценок.
  • Онлайновая параллельная пакетная асинхронная реализация EM-алгоритма.
  • Идея матричной реализации EM-алгоритма.

Тематическая модель локального контекста.

  • Модель быстрой тематизации документа за один линейный проход.
  • Контекстная тематическая модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
  • Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
  • Сравнение со свёрточной сетью GCNN.
  • Псевдокод пакетного EM-алгоритма AARTM.

Коэффициенты внимания и эксперименты.

  • Быстрое вычисление двунаправленных тематических векторов контекста.
  • Обучение весов внимания, Adaptive Attentive ARTM.
  • Эксперименты с AARTM и AAARTM.

Оценивание качества тематических моделей

Презентация: (PDF, 0,8 МБ) — обновление 8.10.2026. видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Проверка гипотезы согласия для языковой модели.
  • Статистики на основе KL-дивергенции и их обобщения.
  • Применение статистических тестов условной независимости.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов.
  • Тематическая несбалансированность как основная причина плохой интерпретируемости тем.
  • Эксперименты с регуляризаторами отбора тем и декоррелирования.
  • Регуляризатор семантической однородности.
  • Подходы к балансировке тем.

Регуляризаторы и устойчивость моделей

Презентация: (PDF, 1,2 МБ) — обновление 15.10.2026. видеозапись

Часто используемые регуляризаторы.

  • Разделение тем на предметные и фоновые.
  • Сглаживание и разреживание. Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.
  • Расстояния и дивергенции между дискретными распределениями.

Комбинирование регуляризаторов.

  • Траектории регуляризации.
  • Относительные коэффициенты регуляризации.
  • Эксперименты с комбинированием разреживания, сглаживания, декоррелирования.
  • Эмпирические рекомендации по комбинированию регуляризаторов.

Эксперименты с тематическими моделями.

  • Исследование устойчивости восстановления тем на синтетических данных.
  • Исследование устойчивости на реальных данных.
  • Эксперименты с отбором тем. Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Тематический информационный поиск

Презентация: (PDF, 9,4 МБ) — обновление 20.10.2026. видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.
  • Тематический спектр

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Время, сегменты, транзакции

Презентация: (PDF, 2,6 МБ) — обновление 4.05.2026.

Темпоральные тематические модели

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.

Позиционный регуляризатор в ARTM

  • Гипотеза о сегментной структуре текста.
  • Регуляризация матрицы тематических векторов термов. Формулы М-шага.
  • Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Тематические модели транзакционных данных

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Нейросетевые языковые модели

Презентация: (PDF, 6,8 МБ) — обновление 23.03.2026.

Краткое введение в машинное обучение.

  • Минимизация эмпирического риска. Метод стохастического градиента.
  • Искусственные нейронные сети. Линейная модель нейрона. Многослойный персептрон.
  • Глубокие нейронные сети. Свёрточные сети для анализа изображений.
  • Обучаемая векторизация данных. Автокодировщики.

Нейросетевые модели языка.

  • Модель машинного перевода. Модель внимания QKV. Архитектура трансформера. Кодировщик и декодировщик.
  • Критерии обучения в машинном переводе.
  • Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.

Тематические модели локального контекста.

  • Эволюция тематического моделирования.
  • Нейросетевая тематическая модель Contextual-Top2Vec.
  • Постановка задачи контекстного тематического моделирования.

Проект «Тематизатор»

Презентация: (PDF, 8,3 МБ) — обновление 20.04.2026. Видеозапись

Примеры прикладных задач

  • Обзор регуляризаторов ARTM.
  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Тематическое моделирование в исторических и политологических исследованиях.
  • Проекты Школы Прикладного Анализа Данных.

Визуализация тематических моделей

  • Визуализация матричного разложения.
  • Динамика, иерархии, взаимосвязи, сегментация.
  • Спектр тем.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
  • Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
  • Этапизация работ и MVP Тематизатора.

Открытые проблемы PTM и проект «A*RTM»

Презентация: (PDF, 6,2 МБ) — обновление 27.04.2026.

Тематические и нейросетевые модели языка

  • Эволюция тематического моделирования.
  • Открытые проблемы и проект A*RTM.
  • Задачи именования и суммаризации тем.

Модели локальных контекстов

  • Тематическая модель локальных контекстов.
  • Нейросетевые модели внимания.
  • Нейросетевая модель Contextual-Top2Vec.

О некоторых задачах обучения без учителя

  • Контекстная кластеризация текстов.
  • Кластеризация.
  • Понижение размерности.


Дополнительные лекции

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

  • Цели, задачи, концепция проекта. Тематические подборки научных текстов.
  • Модель векторизации текста для поиска и рекомендаций научных статей.
  • Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

  • Сервис тематизации подборки.
  • Сервисы выявления научных трендов и построения хронологических карт.
  • Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

  • Задачи иерархической суммаризации одной статьи, подборки статей.
  • Принципы построения интеллект-карт и карт знаний.
  • Что такое «тема»? Отличия тематизации и картирования.

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. старая видеозапись

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 7.12.2025. видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
  2. Воронцов К. В. Аддитивная регуляризация тематических моделей: теория и приложения. 2026.
  3. Xiaobao Wu, Thong Nguyen, Anh Tuan Luu. A Survey on Neural Topic Models: Methods, Applications, and Challenges. 2023.
  4. Rob Churchill, Lisa Singh. The Evolution of Topic Modeling. 2022.
  5. He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine. Topic Modelling Meets Deep Neural Networks: A Survey. 2021.
  6. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  7. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  8. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  9. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Обзорная лекция:

Старое:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2024Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2025
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2026 весна
Источник — «http://83.149.227.45/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»