【sbbit】
2023/04/19
GPTの仕組みと限界についての考察
GPT-3とGPT-4の違い：トークン長とは何か？
まるで人が書いたような文章を作成できる生成型（ジェネレーティブ）AIを用いたチャットサービス「ChatGPT」が注目を浴びています。
ChatGPTはOpenAIが開発した汎用的な大規模言語モデル（事前に大規模テキストデータの学習によりわずかなタスクで文章生成や質問応答などの言語処理タスクが解くことが可能）である「GPT（Generative pre-trained transformers）」を基に展開されています。
そもそもここで注目されているのが、最新版であるGPT-4で性能が飛躍的に向上している点です。
では、GPT-3とGPT-4の違いはどこにあるのでしょうか。
その違いをシンプルに表現するなら「トークン長（GPTが文脈を意識できる過去の単語数）」の大きさです。
このトークン長と、ニューラルネットワークを使ったモデルにおいて、学習を繰り返していくうちに、答えに自動で近づけてくれる役割を指す「パラメータ」の数は生成型AIの性能に大きく寄与します。
GPT-3は、パラメータ数が1750億個（850GBの容量）でトークン長が4097（GPT-3.5）でした。GPT-4は、パラメータ数は非公開でトークン長は3万2768です。トークン長の数だけでも、ちょうど8倍です。
「GPTが文脈を意識できる過去の単語数」で変わることは？
では、「GPTが文脈を意識できる過去の単語数」が多くなると何が変わるのでしょうか？
それは、GPT-4がGPT-3よりも長文を生成可能になったことです。これによりチャット時の会話のやり取りも長く、ユーザーの意図をより反映した返答が可能になります。
たとえば、ChatGPTに何か言葉を投げかけると返事をしてくれますが、このときに「文脈」としてそれ以前の単語を参照します。トークン長が4097でしたら、4097個前の単語までを参照しながら、返事を生成します。
逆に言うと（非常に大事なことですが）、トークン長を超えるような過去の単語は参照しないということです。つまり、何か新しいことを教えて、それを踏まえたふるまいをChatGPTにさせたいとしても、3万2768単語以内で教える必要があるのです。
さらに教えたことを応用してチャットを進めて行った末に3万2768のトークン長をオーバーしてしまったら、せっかく教えた内容を忘れて（参照しなくなって）しまいます。
この点は、ユーザーの“直観”に反する点かもしれません。GPTは何か「文脈」のような抽象的な一塊の「記憶」をもって動作しているわけではないのです。
そうではなく、直前の「トークン長分の単語」を「まるっと」参照した上で、次の単語を計算して答えを出す、というのをひたすら繰り返すシステムなのです。
この挿絵はChatGPT-4の指示で作成した（ChatGPT-4に対し「GPTの考察記事をWebで公開するにあたり挿絵を画像生成AIで描くのでプロンプトをいくつか提案してくれ」と指示。ChatGPTが出したプロンプトをMidjourneyに与えて出てきた中から選出）
