.. _sec_synonyms: Сходство и аналогия слов ======================== В :numref:`sec_word2vec_pretraining` мы обучили модель word2vec на небольшом наборе данных и применили её для поиска слов, семантически близких к заданному входному слову. На практике векторы слов, предварительно обученные на больших корпусах, могут использоваться в задачах обработки естественного языка, которые будут рассмотрены позже в :numref:`chap_nlp_app`. Чтобы наглядно продемонстрировать семантику предобученных векторов слов, полученных на больших корпусах, применим их в задачах оценки семантического сходства и аналогий. .. raw:: latex \diilbookstyleinputcell .. code:: python import os import torch from torch import nn from d2l import torch as d2l Загрузка предобученных векторов слов ------------------------------------ Ниже приведены предобученные векторные представления GloVe размерности 50, 100 и 300, которые можно загрузить с `веб-сайта GloVe `__. Предобученные векторные представления fastText доступны на нескольких языках. Здесь мы рассматриваем одну английскую версию (300-мерную «wiki.en»), которую можно загрузить с `веб-сайта fastText `__. .. raw:: latex \diilbookstyleinputcell .. code:: python #@save d2l.DATA_HUB['glove.6b.50d'] = (d2l.DATA_URL + 'glove.6B.50d.zip', '0b8703943ccdb6eb788e6f091b8946e82231bc4d') #@save d2l.DATA_HUB['glove.6b.100d'] = (d2l.DATA_URL + 'glove.6B.100d.zip', 'cd43bfb07e44e6f27cbcc7bc9ae3d80284fdaf5a') #@save d2l.DATA_HUB['glove.42b.300d'] = (d2l.DATA_URL + 'glove.42B.300d.zip', 'b5116e234e9eb9076672cfeabf5469f3eec904fa') #@save d2l.DATA_HUB['wiki.en'] = (d2l.DATA_URL + 'wiki.en.zip', 'c1816da3821ae9f43899be655002f6c723e91b88') Чтобы загрузить эти предварительно обученные векторные представления GloVe и fastText, мы определяем следующий ``TokenEmbedding`` класс. .. raw:: latex \diilbookstyleinputcell .. code:: python #@save class TokenEmbedding: """Token Embedding.""" def __init__(self, embedding_name): self.idx_to_token, self.idx_to_vec = self._load_embedding( embedding_name) self.unknown_idx = 0 self.token_to_idx = {token: idx for idx, token in enumerate(self.idx_to_token)} def _load_embedding(self, embedding_name): idx_to_token, idx_to_vec = [''], [] data_dir = d2l.download_extract(embedding_name) # GloVe website: https://nlp.stanford.edu/projects/glove/ # fastText website: https://fasttext.cc/ with open(os.path.join(data_dir, 'vec.txt'), 'r') as f: for line in f: elems = line.rstrip().split(' ') token, elems = elems[0], [float(elem) for elem in elems[1:]] # Skip header information, such as the top row in fastText if len(elems) > 1: idx_to_token.append(token) idx_to_vec.append(elems) idx_to_vec = [[0] * len(idx_to_vec[0])] + idx_to_vec return idx_to_token, torch.tensor(idx_to_vec) def __getitem__(self, tokens): indices = [self.token_to_idx.get(token, self.unknown_idx) for token in tokens] vecs = self.idx_to_vec[torch.tensor(indices)] return vecs def __len__(self): return len(self.idx_to_token) Ниже мы загружаем 50-мерные эмбеддинги GloVe (предобученные на подмножестве Википедии). При создании объекта ``TokenEmbedding`` указанный файл с эмбеддингами должен быть загружен, если он ещё не был загружен. .. raw:: latex \diilbookstyleinputcell .. code:: python glove_6b50d = TokenEmbedding('glove.6b.50d') Выведите размер словаря. Словарь содержит 400 000 слов (токенов) и специальный неизвестный токен. .. raw:: latex \diilbookstyleinputcell .. code:: python len(glove_6b50d) Мы можем получить индекс слова в словаре и наоборот. .. raw:: latex \diilbookstyleinputcell .. code:: python glove_6b50d.token_to_idx['beautiful'], glove_6b50d.idx_to_token[3367] Применение предварительно обученных векторов слов ------------------------------------------------- Используя загруженные векторы GloVe, мы продемонстрируем их семантические свойства, применив их в следующих задачах на сходство слов и аналогии. Сходство слов ~~~~~~~~~~~~~ Как и в :numref:`subsec_apply-word-embed`, для поиска слов, семантически близких к входному слову на основе косинусного сходства векторов слов, мы реализуем следующую функцию ``knn`` (:math:`k`-ближайших соседей). .. raw:: latex \diilbookstyleinputcell .. code:: python def knn(W, x, k): # Add 1e-9 for numerical stability cos = torch.mv(W, x.reshape(-1,)) / ( torch.sqrt(torch.sum(W * W, axis=1) + 1e-9) * torch.sqrt((x * x).sum())) _, topk = torch.topk(cos, k=k) return topk, [cos[int(i)] for i in topk] Затем мы ищем похожие слова, используя предварительно обученные вектора слов из объекта ``TokenEmbedding`` ``embed``. .. raw:: latex \diilbookstyleinputcell .. code:: python def get_similar_tokens(query_token, k, embed): topk, cos = knn(embed.idx_to_vec, embed[[query_token]], k + 1) for i, c in zip(topk[1:], cos[1:]): # Exclude the input word print(f'cosine sim={float(c):.3f}: {embed.idx_to_token[int(i)]}') Словарь предобученных векторов слов в ``glove_6b50d`` содержит 400 000 слов и специальный неизвестный токен. Исключая входное слово и неизвестный токен, найдём среди этого словаря три наиболее семантически близких слова к слову «chip». .. raw:: latex \diilbookstyleinputcell .. code:: python get_similar_tokens('chip', 3, glove_6b50d) Ниже приведены слова, наиболее похожие на «baby» и «beautiful». .. raw:: latex \diilbookstyleinputcell .. code:: python get_similar_tokens('baby', 3, glove_6b50d) .. raw:: latex \diilbookstyleinputcell .. code:: python get_similar_tokens('beautiful', 3, glove_6b50d) Словесные аналогии ~~~~~~~~~~~~~~~~~~ Помимо поиска похожих слов, мы можем также применять векторы слов для решения задач на словесные аналогии. Например, соотношение «мужчина»:«женщина»::«сын»:«дочь» представляет собой форму словесной аналогии: «мужчина» относится к «женщине» так же, как «сын» относится к «дочери». Конкретнее, задача дополнения словесной аналогии может быть определена следующим образом: для аналогии :math:`a : b :: c : d`, зная первые три слова :math:`a`, :math:`b` и :math:`c`, найдите слово :math:`d`. Обозначим вектор слова :math:`w` как :math:`\textrm{vec}(w)`. Чтобы дополнить аналогию, мы найдем слово, вектор которого наиболее близок к результату вычисления :math:`\textrm{vec}(c)+\textrm{vec}(b)-\textrm{vec}(a)`. .. raw:: latex \diilbookstyleinputcell .. code:: python def get_analogy(token_a, token_b, token_c, embed): vecs = embed[[token_a, token_b, token_c]] x = vecs[1] - vecs[0] + vecs[2] topk, cos = knn(embed.idx_to_vec, x, 1) return embed.idx_to_token[int(topk[0])] # Remove unknown words Давайте проверим аналогию «мужчина-женщина» с помощью загруженных векторов слов. .. raw:: latex \diilbookstyleinputcell .. code:: python get_analogy('man', 'woman', 'son', glove_6b50d) Ниже приведена аналогия «столица-страна»: «Пекин» относится к «Китаю», как «Токио» относится к «Японии». Это демонстрирует семантику в предварительно обученных векторах слов. .. raw:: latex \diilbookstyleinputcell .. code:: python get_analogy('beijing', 'china', 'tokyo', glove_6b50d) Для аналогии «прилагательное: превосходная степень прилагательного», например «bad»:“worst”::“big”:“biggest”, видно, что предварительно обученные векторы слов могут захватывать синтаксическую информацию. .. raw:: latex \diilbookstyleinputcell .. code:: python get_analogy('bad', 'worst', 'big', glove_6b50d) Чтобы продемонстрировать, что предобученные векторные представления слов захватывают понятие прошедшего времени, мы можем проверить синтаксис с помощью аналогии «настоящее время–прошедшее время»: «do»:“did”::“go”:“went”. .. raw:: latex \diilbookstyleinputcell .. code:: python get_analogy('do', 'did', 'go', glove_6b50d) Итоги ----- - На практике векторы слов, предварительно обученные на больших корпусах, могут применяться для решения последующих задач обработки естественного языка. - Предобученные векторные представления слов можно применять для решения задач на определение сходства слов и аналогий. Упражнения ---------- 1. Проверьте результаты fastText с помощью ``TokenEmbedding('wiki.en')``. 2. Когда словарь чрезвычайно велик, как можно быстрее находить похожие слова или завершать словесные аналогии? `Обсуждения `__