Open AI の新しいサービスである ChatGPT は、これまで見たことのない印象的なデモンストレーションで自然言語を生成する機能でインターネットに旋風を巻き起こしました。ChatGPT は、エッセイを書いたり、研究論文を作成したり、数学の問題を解くこともできます。Open AI は、リリース後わずか 5 日間で 100 万人を超えるユーザーを獲得しました。この前例のない対応を受けて、それが何であるか、何に良いのか、そして潜在的にどこを避けるべきなのかを理解するために時間をかける価値があります。

それは何ですか？

ChatGPT は大規模な言語モデルです。大規模言語モデルの進歩により、過去 5 年間で自然言語処理 (NLP) の新機能が爆発的に増加しました。すべての機械学習モデルは、グラウンド トゥルース データ (真実であるとわかっているデータ) から学習します。機械学習モデルをトレーニングするのに十分なデータに専門家にラベルを割り当てさせるには、時間がかかり、コストがかかる場合があります。マスクされた言語モデルのトレーニングというアイデアにより、NLP に極めて重要な変化が起こりました。この技術では、既知の文を取得し、いくつかの単語を隠し、マスクされた単語を予測するためのモデルを構築します。

私はニューヨークに行き、 _______に会いに行きます。

ブランクとは何ですか?:ショー、演劇、ミュージカル … ヤンキースの試合

言語モデルは、これらのオプションのいずれかが、欠落している単語に対する実行可能な解決策であることを学習できます。十分な例があれば、言語モデルは空白を正しく埋める可能性が最も高い単語またはフレーズを学習できます。また、他のテキストでの単語 (ショー、演劇、ミュージカル) の使用方法から、モデルはそれらが同義語であることを学習できます。一方、ヤンキースはさまざまな文脈で使用され、さまざまな特性が学習されます。ヤンキースとミュージカルはどちらもニューヨークと関連付けられていますが、ミュージカルは演劇と同義であり、ヤンキースは野球と関連付けられています。

マスクされた言語モデルのトレーニングを使用すると、すべての書かれた単語がグラウンド トゥルースになります。これをウィキペディアのすべての記事、ニューヨーク タイムズ、Amazon の製品レビューに適用できます。1 兆を超えるトレーニング可能なパラメータを使用して事実上無限の量のテキストでトレーニングされた大規模な言語モデルは、いくつかの本当に印象的なことを実行できます。

言語モデルは単語の定義以上のものを学習し、人や場所に関する特定の事実を記憶しました。

ChatGPT は何が変わったのでしょうか?

ChatGPT は最初の言語モデルではなく、最大の言語モデルでもありません。ChatGPT の重要な革新は、GPT-3 と呼ばれる以前の言語モデルの出力に人間によるループ強化学習を適用したことです。以前のモデルは素晴らしい結果をもたらしましたが、言語はロボットのように少しぎこちなく聞こえました。オープン AI は人々に複数の模範的な回答を示し、適切だと思われる順に回答をランク付けさせました。モデルは応答から徐々に学習しました。モデルは、人々がどの言語の特徴を好んで見るかを学習しました。インターネット上のすべてのテキストから学習し、学習した人間の好みに合わせて微調整するという組み合わせにより、この分野でのこれまでの研究よりも流暢な結果が得られました。

何に良いのですか？

ChatGPT は、論理形式で適切に記述された言語を生成します。

この例は、特定の企業の状況をそのまま使用できるほど具体的ではありませんが、企業の AI プログラムが計画の一部として検討する必要があるトピックを論理的な順序で確実にカバーしています。これは、綿密に作成された計画へのスタート地点として役立ちます。

したがって、ドキュメントを作成する必要があり、プロンプトで機密情報を送信せずに作成できる場合は、ChatGPT をライティング アシスタントとして使用すると生産的になる可能性があります。ペンシルバニア大学ウォートン・スクール・オブ・ビジネスのイーサン・モリック教授は朝刊のインタビューでNPRに、シラバス、講義、課題、採点ルーブリックの作成を手助けするために、自分自身の教師のアシスタントとして利用していると語った。 MBA学生向け。私たちが今日 Google を使用しているのと同様に、個人の生産性を高めるために AI アシスタントを使用する傾向は今後も高まる一方です。

ChatGPT は Open AI がホストするサーバー上でのみ実行されます。したがって、システムとの対話に使用するデータはすべて、サーバーに記録されます。これは、企業環境で ChatGPT を使用してできることに対するかなり厳しい制限です。たとえば、カスタマー サービスの質問を ChatGPT に送信して、サービスがどのように回答するかを確認するのは興味深いでしょうが、独自のデータを Open AI サーバーに置くのは適切ではありません。

誤検知のリスク

ChatGPT は人間の文章を模倣するように設計されており、世界に関するいくつかの事実を学習しています。ただし、完全に間違っている自信に満ちた応答が生成されることには変わりありません。ChatGPT が「わかりません」という答えを返す可能性は低いです。納得のいく答えが得られる可能性が高くなります。

たとえば、スイスのチューリッヒに拠点を置くデータサイエンティストであるテレサ・クバッカ氏は、でっち上げられた物理現象について質問してツールをテストしました。「私が存在しないと知っているものについて意図的に質問したのは、存在するものと存在しないものという概念が実際に存在するかどうかを判断できるからです」と彼女は語った。ChatGPT は引用に裏付けられた非常に具体的でもっともらしい回答を生成したため、彼女は「サイクロイド逆電磁石」という偽の現象が実際に本物であるかどうかを調査する必要がありました。ChatGPT は著名な物理学の専門家の名前を生成しましたが、彼らが執筆したとされる出版物のタイトルは存在しませんでした。

したがって、この段階では、人間が ChatGPT の使用状況を常に把握し、その応答によって生成された事実を喜んでチェックすることが重要です。

加速学習

ChatGPT のもう 1 つの良い使用例は、新しいトピックについて学習することです。トピックの簡潔な要約をまとめたり、より複雑な論文の要約をより簡単な言葉で作成したりできます。ChatGPT は最後の数回のやり取りを記憶しているので、フォローアップの質問をすることができます。最初のクエリよりもさらに深い内容のフォローアップの質問をサポートできるこの機能により、ChatGPT は単に Wikipedia ページを読むこととは区別されます。ChatGPT はトピックについての簡単な入門書を提供しますが、誇張された話ではないことを確認するために事実を確認する必要があることに注意してください。

コードのスニペット

ソフトウェア開発者やデータ サイエンティストは現在、ブラウザで多数のタブを開いて仕事をしています。その多くは、コーディングの問題の解決策を共有するクラウド ソース ツールである Stack Overflow を指しています。私たちがこれを行うのは、使用する必要があるすべてのプログラミング言語のすべての関数の構文をすべて覚えている人はいないからです。ChatGPT は、Stack Overflow やその他の同様のサイトのデータから学習しました。したがって、ChatGPT は、プロジェクトで使用できる実用的なコード サンプルを効率的に生成できます。このユースケースでも、独自のソース コードを Open AI と共有しないように注意する必要があります。コードのブロックを ChatGPT に貼り付けて、バグの原因を見つけるように要求するのは魅力的かもしれませんが、それはソース コードを Open AI に送信することになり、おそらくあなたがやりたいことではありません。

可用性とパフォーマンス

現段階では、ChatGPT は完全に無料のサービスとして提供されています。つまり、それ自体の人気の犠牲者なのです。いつでも、ユーザーは、サービスが需要をサポートするのに十分な容量があるかどうかを確信できません。現時点では、より多くのユーザーをサポートするのに十分な容量がないことを示すエラー メッセージがユーザーに表示されることがよくあります。将来の状態では、クラウド内の専用ハードウェアが予算上の需要に基づいて割り当てられるようになると、この制約は解決される可能性があります。ChatGPT と同じくらい大きなモデルでモデル推論を実行すると、GPU 処理時間が多くかかることに注意してください。Open AI は、現在のデモを実行し続けるために 1 日あたり 300 万ドルを費やしていると推定されています。

代替案

利用可能な大規模言語モデルは ChatGPT だけではありません。まさに今日マスコミで最も注目を集めているモデルです。Google は、ChatGPT と競合し、いくつかの利点を備えた Flan-T5 と呼ばれるモデルを開発しました。Flan-T5 は ChatGPT の流暢さと使いやすさに欠けていますが、完全にオープンソースであり、Google や他の誰ともデータを共有せずにローカル ハードウェア上で実行できるという点でそれを補っています。

結論

ChatGPT は NLP の印象的な新しい開発であり、私はこのような AI ソリューションの提供速度が今後も急速に高まることを期待しています。ChatGPT は、作成タスクを開始したり、一般的なプログラミング言語で特定の構文を検索したりするための優れたツールです。意図どおりに使用すると、生産性が大幅に向上します。チャット ボットは時々でっち上げを行うため、チャット ボットによって生成された事実を確認する必要があります。また、Open AI のサーバーに独自のデータが送信されないように注意する必要があります。一方、ChatGPT に似た完全にオープンソースのソリューションを利用して、社内の NLP 機能を安全に進化させ続けることができます。