AIはなぜ会話できるのか|トークン・学習・文脈を順に整理
「次の言葉を予測する」と聞くと、なぜ説明や会話までできるのか不思議に感じます。シロボの動画をもとに、文章を分ける処理、学習した重み、入力された文脈、会話向けの調整を順に整理します。すべての生成AIが同じ設計という意味ではありません。
文章は、トークンという単位として扱われる
言語モデルは、人が画面で見る文をそのままの形で内部に置いているわけではありません。文章をトークンと呼ばれる単位へ分け、数値で表した情報として扱います。トークンは常に日本語の1文字や1単語と一致するとは限りません。「何文字入力できるか」と「何トークン扱えるか」も同じ指標ではありません。
大量の例から、予測に使う重みを調整する
学習では、文章の続きを予測するなどの課題を通して、計算に使う多数の重みを調整します。重みを更新する学習と、利用時に入力を受け取って出力する処理を分けて考えることが大切です。会話へ書き込んだ内容が、その場で基盤モデル全体の恒久的な学習になるという説明ではありません。
アテンションで文脈の関係を扱う
Transformerを使う言語モデルでは、入力されたトークン同士の関係を扱うためにアテンションが使われます。直前の1語だけを見て続きを作る、という単純な仕組みではありません。一方、扱える文脈の長さや、途中の情報をどれだけ適切に利用できるかには限界があり、長い資料を渡せば必ずすべて正確に反映されるわけでもありません。
会話向けの調整で、答え方も変わる
基礎となる学習の後に、指示に従う回答例などを使った調整が行われる場合があります。追加学習や人の評価を利用する方法により、出力の形式や応答の傾向を変えられます。ただし、丁寧な言い方や自信のある文体は、回答の正しさを保証する表示ではありません。
もっともらしい文章と、確認できた事実を分ける
文章が自然に続くことと、その内容が資料で確かめられていることは別です。実務で使うときは、数値、固有名詞、日付、引用元が実在するかを確認します。検索や外部ツールを使う製品でも、出典のリンク先の本文が結論を支えているかを読む手順は残ります。