ChatGPTの仕組みを簡潔に整理した
はじめに
自然言語処理（NLP）は進化中の技術分野で、中心的な存在としてOpenAIのChatGPTがあります。
ChatGPTは、GPT-4のような自然言語モデル（LLM）を中心に動作しており、その基盤技術としてTransformerアーキテクチャが使用されています。
GPTやTransformerについて、仕組みの要点を簡潔に整理しました。
Transformerアーキテクチャ
Transformerは2017年にGoogleが発表した「Attention Is All You Need」で紹介されたエンコーダ・デコーダ構造を持ちます。
従来のリカレントニューラルネットワーク（RNN）が持っていた課題（長期記憶の難しさと直列処理縛り）を解消しました。
主要技術要素
Positional Encoding
各単語の順序や位置をベクトルとしてエンコードし、順序情報を持たないAttentionメカニズムに位置情報を提供します。
Self-Attention
入力された各単語が、他のすべての単語とどれだけ関連しているかを計算し、文脈を捉えます。また、各要素が独立して計算されるため、並行処理により効率的な学習を可能にします。
Multi-Head Attention
複数回Attentionを行い、異なる「視点」からの情報を統合して、より豊富な文脈情報を効率的にキャッチします。
ChatGPTの学習方法
- GPTはTransformerアーキテクチャのデコーダ部分のみを採用してます。対照的に、GoogleのBERTはエンコーダ部分を利用しています。
- GPTは最初に大規模なテキストデータセットの事前学習をSelf-Attentionにより効率的に行います。この段階で、モデルは文法、語彙、さまざまな情報を学習します。入力した文章から続く文章を予測し出力することが可能となります。
- 事前学習後、モデルは特定のタスクに対応できるようファインチューニング（微調整）を行います。対話生成に必要なパラメータを調整します。
- 人間の評価者のフィードバックを利用して、あるプロンプトに対する複数のモデル出力の優先順位を定義した報酬モデルを構築します。
- 得られた報酬モデルを使用して、元のGPTモデルを再度訓練します。これは強化学習の一形態で、モデルはより高い報酬を得る出力を生成するように学習します。
ChatGPTは、Transformerのデコーダをベースに、Self-Attentionメカニズムと大規模データを活用し、効率的で高度な文脈理解能力を持つモデルを構築しています。そして特定の学習戦略や人間のフィードバックを利用した強化学習を通じて、その性能を最大限に引き出しています。
ChatGPTの利用方法
訓練されたモデルのパラメータを利用し、新しい入力に対して応答を生成します（推論）。
ChatGPTはステートレスなAPIのため、リクエスト以外の情報を持っていません。そのため、リクエストの度に、ユーザー側で腹持ちしているユーザーとChatGPTの全会話履歴を送信してあげる必要があります。
また、ファインチューニング機能によるモデルカスタマイズやWebブラウジング機能により回答に最新の情報を含ませることが可能です（GPT-3の学習データは2021年9月までのもの）。
