15.7. Сходство и аналогия слов

В Section 15.4 мы обучили модель word2vec на небольшом наборе данных и применили её для поиска слов, семантически близких к заданному входному слову. На практике векторы слов, предварительно обученные на больших корпусах, могут использоваться в задачах обработки естественного языка, которые будут рассмотрены позже в Section 16. Чтобы наглядно продемонстрировать семантику предобученных векторов слов, полученных на больших корпусах, применим их в задачах оценки семантического сходства и аналогий.

import os
import torch
from torch import nn
from d2l import torch as d2l

15.7.1. Загрузка предобученных векторов слов

Ниже приведены предобученные векторные представления GloVe размерности 50, 100 и 300, которые можно загрузить с веб-сайта GloVe. Предобученные векторные представления fastText доступны на нескольких языках. Здесь мы рассматриваем одну английскую версию (300-мерную «wiki.en»), которую можно загрузить с веб-сайта fastText.

#@save
d2l.DATA_HUB['glove.6b.50d'] = (d2l.DATA_URL + 'glove.6B.50d.zip',
                                '0b8703943ccdb6eb788e6f091b8946e82231bc4d')

#@save
d2l.DATA_HUB['glove.6b.100d'] = (d2l.DATA_URL + 'glove.6B.100d.zip',
                                 'cd43bfb07e44e6f27cbcc7bc9ae3d80284fdaf5a')

#@save
d2l.DATA_HUB['glove.42b.300d'] = (d2l.DATA_URL + 'glove.42B.300d.zip',
                                  'b5116e234e9eb9076672cfeabf5469f3eec904fa')

#@save
d2l.DATA_HUB['wiki.en'] = (d2l.DATA_URL + 'wiki.en.zip',
                           'c1816da3821ae9f43899be655002f6c723e91b88')

Чтобы загрузить эти предварительно обученные векторные представления GloVe и fastText, мы определяем следующий TokenEmbedding класс.

#@save
class TokenEmbedding:
    """Token Embedding."""
    def __init__(self, embedding_name):
        self.idx_to_token, self.idx_to_vec = self._load_embedding(
            embedding_name)
        self.unknown_idx = 0
        self.token_to_idx = {token: idx for idx, token in
                             enumerate(self.idx_to_token)}

    def _load_embedding(self, embedding_name):
        idx_to_token, idx_to_vec = ['<unk>'], []
        data_dir = d2l.download_extract(embedding_name)
        # GloVe website: https://nlp.stanford.edu/projects/glove/
        # fastText website: https://fasttext.cc/
        with open(os.path.join(data_dir, 'vec.txt'), 'r') as f:
            for line in f:
                elems = line.rstrip().split(' ')
                token, elems = elems[0], [float(elem) for elem in elems[1:]]
                # Skip header information, such as the top row in fastText
                if len(elems) > 1:
                    idx_to_token.append(token)
                    idx_to_vec.append(elems)
        idx_to_vec = [[0] * len(idx_to_vec[0])] + idx_to_vec
        return idx_to_token, torch.tensor(idx_to_vec)

    def __getitem__(self, tokens):
        indices = [self.token_to_idx.get(token, self.unknown_idx)
                   for token in tokens]
        vecs = self.idx_to_vec[torch.tensor(indices)]
        return vecs

    def __len__(self):
        return len(self.idx_to_token)

Ниже мы загружаем 50-мерные эмбеддинги GloVe (предобученные на подмножестве Википедии). При создании объекта TokenEmbedding указанный файл с эмбеддингами должен быть загружен, если он ещё не был загружен.

glove_6b50d = TokenEmbedding('glove.6b.50d')

Выведите размер словаря. Словарь содержит 400 000 слов (токенов) и специальный неизвестный токен.

len(glove_6b50d)

Мы можем получить индекс слова в словаре и наоборот.

glove_6b50d.token_to_idx['beautiful'], glove_6b50d.idx_to_token[3367]

15.7.2. Применение предварительно обученных векторов слов

Используя загруженные векторы GloVe, мы продемонстрируем их семантические свойства, применив их в следующих задачах на сходство слов и аналогии.

15.7.2.1. Сходство слов

Как и в Section 15.4.3, для поиска слов, семантически близких к входному слову на основе косинусного сходства векторов слов, мы реализуем следующую функцию knn (\(k\)-ближайших соседей).

def knn(W, x, k):
    # Add 1e-9 for numerical stability
    cos = torch.mv(W, x.reshape(-1,)) / (
        torch.sqrt(torch.sum(W * W, axis=1) + 1e-9) *
        torch.sqrt((x * x).sum()))
    _, topk = torch.topk(cos, k=k)
    return topk, [cos[int(i)] for i in topk]

Затем мы ищем похожие слова, используя предварительно обученные вектора слов из объекта TokenEmbedding embed.

def get_similar_tokens(query_token, k, embed):
    topk, cos = knn(embed.idx_to_vec, embed[[query_token]], k + 1)
    for i, c in zip(topk[1:], cos[1:]):  # Exclude the input word
        print(f'cosine sim={float(c):.3f}: {embed.idx_to_token[int(i)]}')

Словарь предобученных векторов слов в glove_6b50d содержит 400 000 слов и специальный неизвестный токен. Исключая входное слово и неизвестный токен, найдём среди этого словаря три наиболее семантически близких слова к слову «chip».

get_similar_tokens('chip', 3, glove_6b50d)

Ниже приведены слова, наиболее похожие на «baby» и «beautiful».

get_similar_tokens('baby', 3, glove_6b50d)

get_similar_tokens('beautiful', 3, glove_6b50d)

15.7.2.2. Словесные аналогии

Помимо поиска похожих слов, мы можем также применять векторы слов для решения задач на словесные аналогии. Например, соотношение «мужчина»:«женщина»::«сын»:«дочь» представляет собой форму словесной аналогии: «мужчина» относится к «женщине» так же, как «сын» относится к «дочери». Конкретнее, задача дополнения словесной аналогии может быть определена следующим образом: для аналогии \(a : b :: c : d\), зная первые три слова \(a\), \(b\) и \(c\), найдите слово \(d\). Обозначим вектор слова \(w\) как \(\textrm{vec}(w)\). Чтобы дополнить аналогию, мы найдем слово, вектор которого наиболее близок к результату вычисления \(\textrm{vec}(c)+\textrm{vec}(b)-\textrm{vec}(a)\).

def get_analogy(token_a, token_b, token_c, embed):
    vecs = embed[[token_a, token_b, token_c]]
    x = vecs[1] - vecs[0] + vecs[2]
    topk, cos = knn(embed.idx_to_vec, x, 1)
    return embed.idx_to_token[int(topk[0])]  # Remove unknown words

Давайте проверим аналогию «мужчина-женщина» с помощью загруженных векторов слов.

get_analogy('man', 'woman', 'son', glove_6b50d)

Ниже приведена аналогия «столица-страна»: «Пекин» относится к «Китаю», как «Токио» относится к «Японии». Это демонстрирует семантику в предварительно обученных векторах слов.

get_analogy('beijing', 'china', 'tokyo', glove_6b50d)

Для аналогии «прилагательное: превосходная степень прилагательного», например «bad»:“worst”::“big”:“biggest”, видно, что предварительно обученные векторы слов могут захватывать синтаксическую информацию.

get_analogy('bad', 'worst', 'big', glove_6b50d)

Чтобы продемонстрировать, что предобученные векторные представления слов захватывают понятие прошедшего времени, мы можем проверить синтаксис с помощью аналогии «настоящее время–прошедшее время»: «do»:“did”::“go”:“went”.

get_analogy('do', 'did', 'go', glove_6b50d)

15.7.3. Итоги

  • На практике векторы слов, предварительно обученные на больших корпусах, могут применяться для решения последующих задач обработки естественного языка.

  • Предобученные векторные представления слов можно применять для решения задач на определение сходства слов и аналогий.

15.7.4. Упражнения

  1. Проверьте результаты fastText с помощью TokenEmbedding('wiki.en').

  2. Когда словарь чрезвычайно велик, как можно быстрее находить похожие слова или завершать словесные аналогии?

Обсуждения