Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM ''Gemini 3.1 Pro'' и проверена участником [[Участник:Artem Abdulmanov|Artem Abdulmanov]] 16:29, 17 июня 2026 (MSD) Промпт приводится полностью в [[Обсуждение:Дивергенция Йенсена — Шеннона]]}} {{TOCright}} == Введение == '''Дивергенция Йенсена — Шеннона''' (англ. ''Jensen–Shannon divergence, JSD'') — это теоретико-информационная мера сходства между двумя [[Распределение вероятностей|распределениями вероятностей]]. В машинном обучении и математической статистике данный функционал применяется для количественной оценки того, насколько одно распределение отличается от другого, решая проблему несимметричности классических метрик расстояния в пространстве распределений. == Мотивировка и историческая справка == Исторически базовым способом измерения различий между распределениями выступала [[Дивергенция Кульбака — Лейблера|дивергенция Кульбака — Лейблера]] (KL-дивергенция). Однако её практическое применение сопряжено с двумя существенными проблемами. Во-первых, она не обладает свойством симметричности: значение <tex>D_{KL}(P \parallel Q)</tex> в общем случае не равно <tex>D_{KL}(Q \parallel P)</tex>. Во-вторых, KL-дивергенция может обращаться в бесконечность, если распределение <tex>Q(x)</tex> равно нулю в тех точках, где <tex>P(x)</tex> больше нуля. Для преодоления этих ограничений Цзяньхуа Линь (Jianhua Lin) в своей работе 1991 года предложил новую меру, основанную на [[Энтропия Шеннона|энтропии Шеннона]] <ref>Lin J., 1991</ref>. Предложенная дивергенция вычисляет усреднённое отклонение каждого из распределений от их общей смеси (среднего распределения). Это делает новую меру симметричной, всегда конечной и глубоко укоренённой в фундаментальных законах [[Теория информации|теории информации]]. == Математический аппарат и свойства == Пусть заданы два дискретных распределения вероятностей <tex>P</tex> и <tex>Q</tex>, определённых на одном и том же пространстве событий <tex>\mathcal{X}</tex>. Введём распределение <tex>M</tex>, которое является их поэлементным средним: ::<tex> M = \frac{1}{2}(P + Q) </tex> Дивергенция Йенсена — Шеннона определяется как среднее арифметическое KL-дивергенций от распределений <tex>P</tex> и <tex>Q</tex> до их смеси <tex>M</tex>: ::<tex> JSD(P \parallel Q) = \frac{1}{2} D_{KL}(P \parallel M) + \frac{1}{2} D_{KL}(Q \parallel M) </tex> Альтернативное, но математически эквивалентное определение можно записать через энтропию Шеннона <tex>H</tex>: ::<tex> JSD(P \parallel Q) = H(M) - \frac{1}{2}(H(P) + H(Q)) </tex> Дивергенция Йенсена — Шеннона обладает рядом важнейших аналитических свойств: * '''Симметричность:''' <tex>JSD(P \parallel Q) = JSD(Q \parallel P)</tex>. * '''Неотрицательность:''' <tex>JSD(P \parallel Q) \ge 0</tex>, причём равенство нулю достигается тогда и только тогда, когда распределения <tex>P</tex> и <tex>Q</tex> идентичны. * '''Ограниченность:''' Если при вычислении логарифмов и энтропии используется основание <tex>2</tex> (измерение в битах), то значение функционала жёстко ограничено отрезком <tex>[0, 1]</tex>. * '''Связь с метрическими пространствами:''' Сама по себе дивергенция Йенсена — Шеннона не является [[Метрическое пространство|метрикой]], так как не удовлетворяет неравенству треугольника. Однако квадратный корень из её значения <tex>\sqrt{JSD(P \parallel Q)}</tex> строго удовлетворяет всем аксиомам метрики и называется '''расстоянием Йенсена — Шеннона''' (Jensen–Shannon distance). == Практика на Python (NumPy, SciPy) == При реализации алгоритма «с нуля» крайне важно учитывать аспекты численной стабильности. Ниже приведён надёжный код с использованием библиотеки [[NumPy]], а также показано использование готового решения из пакета SciPy. <source lang="python"> import numpy as np from scipy.spatial.distance import jensenshannon def calculate_jsd(p, q, epsilon=1e-10): """ Вычисляет дивергенцию Йенсена-Шеннона между распределениями p и q. Параметры: p, q: одномерные массивы numpy с вероятностями. epsilon: малая константа для избежания деления на ноль и логарифма нуля. """ # 1. Принудительная нормализация распределений (сумма должна быть равна 1) p = p / np.sum(p) q = q / np.sum(q) # 2. Вычисление среднего распределения M m = 0.5 * (p + q) # 3. Вычисление KL-дивергенции для P || M и Q || M # Используем epsilon для численной стабильности kl_p_m = np.sum(p * np.log2((p + epsilon) / (m + epsilon))) kl_q_m = np.sum(q * np.log2((q + epsilon) / (m + epsilon))) # 4. Итоговое значение JSD jsd = 0.5 * kl_p_m + 0.5 * kl_q_m return jsd # Пример использования dist_p = np.array([0.1, 0.4, 0.5]) dist_q = np.array([0.2, 0.2, 0.6]) jsd_custom = calculate_jsd(dist_p, dist_q) print(f"JSD (своя реализация): {jsd_custom:.4f} бит") # Альтернатива: использование готовой функции из SciPy. # ВАЖНО: функция jensenshannon возвращает РАССТОЯНИЕ (квадратный корень из JSD), # поэтому для получения дивергенции результат нужно возвести в квадрат. js_distance = jensenshannon(dist_p, dist_q, base=2) jsd_scipy = js_distance ** 2 print(f"JSD (SciPy): {jsd_scipy:.4f} бит") </source> В экосистеме глубинного обучения (например, [[PyTorch]]) встроенной функции для JSD нет, однако её легко реализовать, комбинируя функцию `torch.nn.functional.kl_div` для двух половин формулы. == Особенности вычисления и численные проблемы == При практическом применении дивергенции Йенсена — Шеннона в задачах машинного обучения инженеры регулярно сталкиваются со следующими нюансами: * '''Деление на ноль и логарифм нуля:''' Если вероятность <tex>P(x) = 0</tex>, математически предел выражения <tex>0 \log 0</tex> равен <tex>0</tex>. В программном коде это вызывает значение `NaN`. Для борьбы с этим к знаменателю и аргументу логарифма прибавляют малое значение <tex>\epsilon</tex> (например, <tex>10^{-10}</tex>). * '''Отсутствие нормализации:''' Формулы выведены для истинных распределений вероятностей (сумма элементов равна <tex>1</tex>). Если подать на вход сырые логиты или частоты без предварительного применения функции [[Softmax]] или деления на сумму, результат будет математически бессмысленным. * '''Выбор основания логарифма:''' При использовании логарифма по основанию <tex>2</tex> результат измеряется в битах и лежит в пределах <tex>[0, 1]</tex>. При использовании натурального логарифма (основание <tex>e</tex>) результат измеряется в натах, и его верхняя граница составляет <tex>\ln(2) \approx 0.693</tex>. В программных библиотеках по умолчанию чаще используется натуральный логарифм. == Применение в современном ML и Generative Adversarial Networks == Дивергенция Йенсена — Шеннона приобрела колоссальную популярность благодаря своему центральному месту в теории [[Генеративно-состязательная нейросеть|Генеративно-состязательных нейросетей (GAN)]]. В оригинальной статье 2014 года Иэн Гудфеллоу (Ian Goodfellow) доказал, что процесс обучения GAN математически эквивалентен минимизации JSD <ref>Goodfellow I. et al., 2014</ref>. Дискриминатор <tex>D</tex> обучается отличать истинное распределение данных <tex>p_{data}</tex> от распределения генератора <tex>p_g</tex>. При фиксированном генераторе <tex>G</tex>, оптимальный дискриминатор имеет вид: ::<tex> D_{G}^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)} </tex> Если подставить этот оптимальный дискриминатор обратно в функцию потерь минимаксной игры <tex>V(G, D)</tex>, то критерий качества генератора примет вид: ::<tex> \max_D V(G, D) = -\log(4) + 2 \cdot JSD(p_{data} \parallel p_g) </tex> Таким образом, генератор неявно стремится минимизировать дивергенцию Йенсена — Шеннона между сгенерированными данными и реальной выборкой. Стоит отметить, что в последующих работах (например, в Wasserstein GAN) было показано, что JSD может приводить к затуханию градиентов, если распределения <tex>p_{data}</tex> и <tex>p_g</tex> не пересекаются, что стимулировало переход к метрике Вассерштейна (Wasserstein distance). Помимо архитектуры GAN, JSD активно применяется в задачах [[Обработка естественного языка|обработки естественного языка (NLP)]] для оценки качества тематических моделей (topic modeling) и сравнения эмбеддингов документов, а также в биоинформатике для сопоставления генетических последовательностей и белковых профилей. == См. также == * [[Расстояние Кульбака — Лейблера]] * [[Энтропия Шеннона]] * [[Генеративно-состязательная нейросеть]] * [[Теория информации]] * [[Перекрёстная энтропия]] == Примечания == <references/> == Литература == * {{статья | автор = Lin J. | заглавие = Divergence measures based on the Shannon entropy | издание = IEEE Transactions on Information theory | год = 1991 | страницы = 145-151 }} * {{статья | автор = Goodfellow I. et al. | заглавие = Generative adversarial nets | издание = Advances in neural information processing systems | год = 2014 | страницы = 2672-2680 }} * {{книга | автор = Cover T. M., Thomas J. A. | заглавие = Elements of Information Theory | место = Hoboken, New Jersey | издательство = John Wiley & Sons | год = 2006 }} [[Категория:Машинное обучение]] [[Категория:Теория информации]] [[Категория:Математическая статистика]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Книга
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Дивергенция Йенсена — Шеннона.