Матрица внимания — это «карта влияний», показывающая, как сильно каждое слово в предложении зависит от других слов при формировании своего представления. Давайте разберём это подробно.
Как выглядит матрица внимания?
Для предложения из N слов матрица внимания имеет размер N×N. Каждая ячейка (i,j) показывает, насколько слово i «обращает внимание» на слово j.
Пример для предложения «Собака гонится за кошкой»:
| Собака | гонится | за | кошкой | |
|---|---|---|---|---|
| Собака | 0.9 | 0.1 | 0.0 | 0.0 |
| гонится | 0.6 | 0.2 | 0.1 | 0.1 |
| за | 0.1 | 0.7 | 0.1 | 0.1 |
| кошкой | 0.3 | 0.5 | 0.1 | 0.1 |
Ключевые особенности:
- Диагональ обычно имеет высокие значения — слово всегда «внимательно» к самому себе
- Смысловые связи:
- «гонится» сильно зависит от «Собака» (0.6)
- «за» зависит от «гонится» (0.7)
- «кошкой» зависит от «гонится» (0.5)
Как интерпретировать?
- Горизонтальные строки: куда смотрит конкретное слово
- Строка «гонится»: [0.6, 0.2, 0.1, 0.1] → в основном смотрит на «Собака»
- Вертикальные столбцы: какие слова влияют на текущее
- Столбец «кошкой»: [0.3, 0.5, 0.1, 0.1] → на него влияют «Собака» и «гонится»
Multi-Head Attention
В реальных моделях (BERT, GPT) используется несколько матриц внимания параллельно (обычно 12-16), каждая из которых учится выделять разные типы связей:
- Голова 1: синтаксические связи (подлежащее-сказуемое)
- Голова 2: семантические связи (антонимы, синонимы)
- Голова 3: локальные связи (соседние слова)
Визуализация
На практике матрицы внимания визуализируют как тепловые карты, где:
- Яркие цвета = сильная связь
- Тёмные цвета = слабая связь
Практическое применение
- Анализ неоднозначностей (разрешение кореференции)
- Поиск семантических связей между словами
- Объяснение решений модели (интерпретируемость)
Механизм внимания (attention mechanism)
Нейронные сети, основанные на архитектуре Transformer (например, BERT, GPT), используют механизм внимания (attention mechanism), который опирается на матрицы внимания для выявления связей между элементами последовательности (например, словами в предложении).
Как это работает?
Входные векторы
Каждому слову (или токену) сопоставляется вектор (эмбеддинг), который затем преобразуется в три вектора:
- Query (Q) — запрос, представляющий текущее слово.
- Key (K) — ключ, помогающий определить важность других слов.
- Value (V) — значение, содержащее информацию о слове.
Вычисление внимания
- Между всеми Query и Key вычисляется скалярное произведение, получается матрица сходства (attention scores).
- Эта матрица нормируется с помощью softmax, превращаясь в матрицу внимания (attention matrix).
- Каждая строка матрицы показывает, насколько сильно текущее слово (Query) должно «обращать внимание» на другие слова (Key).
Типы внимания в Transformer
- Self-attention (внутри одного предложения) — анализирует связи между словами внутри одной последовательности.
- Cross-attention (в encoder-decoder) — например, в переводе связывает слова исходного и целевого предложений.
- Multi-head attention — несколько параллельных матриц внимания для учета разных типов зависимостей.
Пример предложения:
«Птица села на ветку, но она сломалась»
Задача: понять, к чему относится слово «она» — к «птица» или «ветка»?
🔍 Шаг 1: Векторы слов (упрощённо)
Допустим, у нас такие векторы (в реальности их размерность больше):
| Слово | Вектор (пример) | |
|---|---|---|
| Птица | [0.7, 1.0, -0.2] | |
| села | [0.1, 0.5, 0.3] | |
| на | [0.0, 0.3, -0.1] | |
| ветку | [0.4, -0.2, 0.8] | |
| но | [-0.1, 0.0, 0.2] | |
| она | [0.6, 0.9, -0.3] | ← Интересует нас |
| сломалась | [0.2, -0.5, 1.0] |
🔍 Шаг 2: Вычисляем Attention для слова «она»
- Считаем сходство «она» с другими словами (скалярное произведение
Query("она") · Key(слов)):Q("она") · K("птица")= (0.6*0.7) + (0.9*1.0) + (-0.3*-0.2) = 1.38Q("она") · K("ветку")= (0.6*0.4) + (0.9*-0.2) + (-0.3*0.8) = -0.36- (Для остальных слов сходство будет близко к нулю.)
- Применяем softmax к полученным значениям:
exp(1.38) ≈ 3.97,exp(-0.36) ≈ 0.70, остальные ~1.0.Вес для «птица»:3.97 / (3.97 + 0.70 + ...) ≈ 0.75Вес для «ветку»:0.70 / (3.97 + 0.70 + ...) ≈ 0.15Остальные слова: ~0.05.
- Вывод: Модель решает, что «она» относится к «птица» с вероятностью 75%, а к «ветку» — только 15%.
🔍 Шаг 3: Почему так получилось?
- «Она» ближе по смыслу к «птица», чем к «ветку» (вектор «она» похож на «птица»).
- Но в реальности «она» = «ветка» (ведь сломалась именно ветка). Значит, модель ошиблась?
🔧 Как это исправить?
- Контекст имеет значение! Слово «сломалась» может повлиять на решение.
- Механизм Multi-Head Attention (как в реальных Transformer):
- Разные «головы» внимания могут уловить:
- Голова 1: «она» → «птица» (по смыслу).
- Голова 2: «сломалась» → «ветку» (по грамматике).
- Итоговое решение будет учитывать оба варианта.
- Разные «головы» внимания могут уловить:
Визуализация матрицы внимания:
| Птица | села | на | ветку | но | она | сломалась | |
|---|---|---|---|---|---|---|---|
| Птица | 1.0 | 0.3 | 0.1 | 0.0 | 0.0 | 0.0 | 0.0 |
| она | 0.75 | 0.01 | 0.0 | 0.15 | 0.0 | 0.05 | 0.04 |
| сломалась | 0.1 | 0.0 | 0.0 | 0.8 | 0.0 | 0.0 | 0.1 |
Видно, что:
- «она» больше смотрит на «птица».
- «сломалась» явно связано с «ветку» (вес 0.8).
Построение «идеальной» матрицы внимания
«Собака грызёт кость»
1. Лингвистический анализ предложения
Предложение: «Собака грызёт кость»
Синтаксическая структура:
- Подлежащее: «Собака» (субъект действия)
- Сказуемое: «грызёт» (действие)
- Дополнение: «кость» (объект действия)
Ожидаемые связи:
- «Собака» → «грызёт» (субъект управляет глаголом)
- «грызёт» → «кость» (глагол управляет дополнением)
- Слабые связи:
- «Собака» → «кость» (косвенная связь)
- Самореференция (слова слабо зависят от самих себя)
2. Построение матрицы внимания (до softmax)
Порядок слов:
- Собака
- грызёт
- кость
«Идеальная» матрица AA:
| Собака | грызёт | кость | ||
|---|---|---|---|---|
| Собака | 0.1 | 0.8 | 0.1 | (субъект → глагол) |
| грызёт | 0.2 | 0.1 | 0.7 | (глагол → объект) |
| кость | 0.0 | 0.9 | 0.1 | (объект зависит от глагола) |
Обоснование значений:
- «Собака» → «грызёт» = 0.8: Сильная связь подлежащего и глагола.
- «грызёт» → «кость» = 0.7: Сильная связь глагола и дополнения.
- «кость» → «грызёт» = 0.9: Объект должен сильно зависеть от глагола.
- Диагональные элементы (самореференция) малы (0.1–0.2), так как слова в первую очередь зависят от других.
3. Применение softmax-нормализации
Итоговая матрица после softmax:
| Собака | грызёт | кость | |
|---|---|---|---|
| Собака | 0.25 | 0.50 | 0.25 |
| грызёт | 0.28 | 0.26 | 0.46 |
| кость | 0.22 | 0.54 | 0.24 |
4. Интерпретация результатов
- «Собака» уделяет 50% внимания глаголу «грызёт», что отражает субъект-предикатную связь.
- «грызёт» направляет 46% внимания на дополнение «кость» — это соответствует управлению глагола.
- «кость» зависит от глагола «грызёт» (54%), что логично для объекта действия.
Сравнение с реальными моделями:
В реальных NLP-моделях (например, BERT):
- Матрицы внимания могут иметь более сложные паттерны (например, «кость» может слабо зависеть от «Собака»).
- Значения диагональных элементов часто выше из-за обучения на больших корпусах текстов.
Вывод:
- Attention помогает находить связи, но не всегда идеально с первого раза.
- Multi-Head Attention и глубокие слои улучшают результат (например, исправляют «она» → «ветку» через контекст).