単語たちの視線
Transformer の Self-Attention を「単語同士のアイコンタクト」として見ます。
表示モード
文を読むとき、AI は各単語がどの単語を「見て」意味を決めるかを計算しています。
たとえば
下の図で、丸をタップして「その単語の視線」を確かめてください。
たとえば
cat という単語は、何をしたか を知るために動詞 sat を強く見ます。下の図で、丸をタップして「その単語の視線」を確かめてください。
もっと詳しく：全 6 単語の注目分布を表で見る
各行の合計は 1。色が濃いほど強く注目している。
この仕組みは何に使われている？
- ChatGPT が答えを作るとき、過去の単語のどれを参考にするかをこの方法で決めている
- 翻訳 AI が「彼」を
he / itどちらに訳すかは、後ろの動詞を「見て」決めている - 要約 AI がどの単語が重要かを判断するのも、注目度の集計