Обозначения¶
Во всей книге мы придерживаемся следующих соглашений по обозначениям. Обратите внимание, что некоторые из этих символов являются заполнителями, тогда как другие относятся к конкретным объектам. В качестве общего правила неопределенный артикль «a» часто указывает на то, что символ является заполнителем и что аналогично оформленные символы могут обозначать другие объекты того же типа. Например, «\(x\): a scalar» означает, что строчные буквы, как правило, представляют скалярные значения, тогда как «\(\mathbb{Z}\): the set of integers» относится конкретно к символу \(\mathbb{Z}\).
Числовые объекты¶
\(x\): скаляр
\(\mathbf{x}\): вектор
\(\mathbf{X}\): матрица
\(\mathsf{X}\): произвольный тензор
\(\mathbf{I}\): единичная матрица (заданной размерности), то есть квадратная матрица с \(1\) на всех диагональных элементах и \(0\) на всех остальных
\(x_i\), \([\mathbf{x}]_i\): \(i^\textrm{th}\)-й элемент вектора \(\mathbf{x}\)
\(x_{ij}\), \(x_{i,j}\), \([\mathbf{X}]_{ij}\), \([\mathbf{X}]_{i,j}\): элемент матрицы \(\mathbf{X}\) на пересечении строки \(i\) и столбца \(j\).
Теория множеств¶
\(\mathcal{X}\): множество
\(\mathbb{Z}\): множество целых чисел
\(\mathbb{Z}^+\): множество натуральных чисел
\(\mathbb{R}\): множество действительных чисел
\(\mathbb{R}^n\): множество \(n\)-мерных векторов вещественных чисел
\(\mathbb{R}^{a\times b}\): Множество матриц из действительных чисел размера \(a\) × \(b\)
\(|\mathcal{X}|\): мощность (количество элементов) множества \(\mathcal{X}\)
\(\mathcal{A}\cup\mathcal{B}\): объединение множеств \(\mathcal{A}\) и \(\mathcal{B}\)
\(\mathcal{A}\cap\mathcal{B}\): пересечение множеств \(\mathcal{A}\) и \(\mathcal{B}\)
\(\mathcal{A}\setminus\mathcal{B}\): разность множеств \(\mathcal{B}\) и \(\mathcal{A}\) (содержит только те элементы \(\mathcal{A}\), которые не принадлежат \(\mathcal{B}\))
Функции и операторы¶
\(f(\cdot)\): функция
\(\log(\cdot)\): натуральный логарифм (основание \(e\))
\(\log_2(\cdot)\): логарифм по основанию \(2\)
\(\exp(\cdot)\): экспоненциальная функция
\(\mathbf{1}(\cdot)\): индикаторная функция; принимает значение \(1\), если логический аргумент истинен, и \(0\) в противном случае
\(\mathbf{1}_{\mathcal{X}}(z)\): функция принадлежности к множеству; принимает значение \(1\), если элемент \(z\) принадлежит множеству \(\mathcal{X}\), и \(0\) в противном случае
\(\mathbf{(\cdot)}^\top\): транспонирование вектора или матрицы
\(\mathbf{X}^{-1}\): обратная матрица \(\mathbf{X}\)
\(\odot\): поэлементное произведение (произведение Адамара)
\([\cdot, \cdot]\): конкатенация
\(\|\cdot\|_p\): \(\ell_p\) норма
\(\|\cdot\|\): \(\ell_2\) норма
\(\langle \mathbf{x}, \mathbf{y} \rangle\): скалярное (внутреннее) произведение векторов \(\mathbf{x}\) и \(\mathbf{y}\)
\(\sum\): суммирование по набору элементов
\(\prod\): произведение элементов
\(\stackrel{\textrm{def}}{=}\): равенство, используемое в качестве определения символа слева
Математический анализ¶
\(\frac{dy}{dx}\): производная \(y\) по \(x\)
\(\frac{\partial y}{\partial x}\): частная производная \(y\) по \(x\)
\(\nabla_{\mathbf{x}} y\): градиент \(y\) по \(\mathbf{x}\)
\(\int_a^b f(x) \;dx\): определённый интеграл от \(f\) от \(a\) до \(b\) по \(x\)
\(\int f(x) \;dx\): неопределённый интеграл от \(f\) по \(x\)
Вероятность и теория информации¶
\(X\): случайная величина
\(P\): распределение вероятностей
\(X \sim P\): случайная величина \(X\) имеет распределение \(P\)
\(P(X=x)\): вероятность, присвоенная событию, при котором случайная величина \(X\) принимает значение \(x\)
\(P(X \mid Y)\): условное распределение вероятностей \(X\) при условии \(Y\)
\(p(\cdot)\): функция плотности вероятности (PDF), соответствующая распределению \(P\)
\({E}[X]\): математическое ожидание случайной величины \(X\)
\(X \perp Y\): случайные величины \(X\) и \(Y\) независимы
\(X \perp Y \mid Z\): случайные величины \(X\) и \(Y\) условно независимы при заданном \(Z\)
\(\sigma_X\): стандартное отклонение случайной величины \(X\)
\(\textrm{Var}(X)\): дисперсия случайной величины \(X\), равная \(\sigma^2_X\)
\(\textrm{Cov}(X, Y)\): ковариация случайных величин \(X\) и \(Y\)
\(\rho(X, Y)\): коэффициент корреляции Пирсона между \(X\) и \(Y\) равен \(\frac{\textrm{Cov}(X, Y)}{\sigma_X \sigma_Y}\)
\(H(X)\): энтропия случайной величины \(X\)
\(D_{\textrm{KL}}(P\|Q)\): расхождение Кульбака–Лейблера (или относительная энтропия) между распределениями \(Q\) и \(P\)