SaaS GPT

事前トレーニング済みモデルは、多くの NLP (自然言語処理) タスクに対してすぐに使用できる機能を提供しますが、それだけの機能しかありません。すぐに、独自のデータ (カスタム コーパス) でトレーニングする必要が生じます。カスタム トレーニングの実行方法は時間の経過とともに変化してきました。以下にその進歩を示します。

• 独自のデータのみ: バッグオブワードや tf-idf (用語頻度逆文書頻度) などの頻度ベースのモデルは、通常、完全にカスタム コーパスでゼロからトレーニングされます。事前トレーニングされたモデル自体はありません。機械学習または深層学習ニューラル ネットワークを介して、分類などの NLP タスクでベクトル化器として使用します。
• 再トレーニング: word2vec のようなモデルは、Google から事前トレーニングされたフレーバーで提供されます。前述のように、任意の NLP タスクでベクトル化器として使用できます。ただし、Python ライブラリ Gensim を使用すると、独自のコーパスに完全に基づいて、独自の word2vec (および doc2vec) モデルを最初から構築することもできます。これにより、前述したように、NLP タスクで使用できる独自のワード ベクトルが得られます。
• 微調整: BERT (トランスフォーマーの双方向エンコーダー表現) のようなモデルは、ベクトル化器として、またベース ニューラル ネットワークとしても使用できるように事前トレーニングされたフレーバーで提供されます。分類などの下流の NLP タスクに基づいて、そのベース ニューラル ネットワークに最後の層を追加する必要があるため、カスタム コーパスでトレーニングできる独自の分類器が得られます。

世界中の GPT と BARD のために、今、新しい子が登場しています。それは次のとおりです。

• プロンプトチューニング: LLM (大規模言語モデル) である *GPT* (Generative Pretrained Transformers) のようなモデルは非常に強力であるため、独自のデータで微調整するためにニューラル ネットワークを改ざんする必要はありません。プロンプト自体内でいくつかのサンプル (ショット) を与えるだけで、サンプルに基づいて応答が開始されます。もちろん、上記のすべての方法を実行することもできますが、プロンプトを介して微調整するこの新しい方法により、誰でも LLM にアクセスできるようになりました。

LangChain もその 1 つです。

Google は、Vertex AI と統合されたクラウドで同様のサービスを提供しています。

GitaGPT のようなカスタム GPT の想像力豊かな使用方法がすでに見られ始めています。

このようなソリューションは、「SaaS GPT」（GPT に基づいた Software-as-a-Service）と呼ばれる新しいカテゴリを生み出すことになります。

まだまだ続きます!!