Chat-GPT の制限

最近メディアで OpenAI による Chat-GPT に関する誇大宣伝が見られたため、それがその誇大宣伝と一致するかどうか興味がありました。ソーシャル ロボット工学と会話型 AI に関連する研究を発表してきた者として、私はこれまでこの分野に関する誇張された記事を頻繁に目にしてきました。Chat-GPT が完成品ではなく、開発中の段階にあることは理解していますが、技術的にどこが欠けているのか、またユーザー エクスペリエンスの観点からどこが欠けているのかを判断するために、Chat-GPT を批判的に分析することが重要だと思います。

そこで、私は Chat-GPT (12 月 15 日バージョン) を試してみましたが、大きな制限がいくつかあるにもかかわらず、ユーザーとして非常に印象的であることがわかりました。その生成機能は非常に便利です。そうは言っても、私は多くのやりとりを経験する中で、気づいた限界と問題点を書き留めました。これらの制限は再現するのが非常に簡単で、これらを改善することで GPT-3.5 のチャット アプリケーションがメディアで見られる誇大広告の一部と一致するようにできると私は信じています。

私が気づいた問題の一部は技術的な問題である可能性がありますが、その他の問題はユーザー エクスペリエンスとチャットボットの機能に関する問題である可能性があります。ただし、これらの問題はすべて、チャットボットと対話型 AI の将来に関連しています。

インターネットへのアクセスと位置情報に基づく情報

これは驚くべきことではありませんが、OpenAI はインターネットにアクセスできません。リアルタイムの情報を提供したり、位置情報に基づいた情報を使用したり、インターネット上の URL や参照を提供したりすることはできません。ご想像のとおり、これにより、アプリケーションの機能とアプリケーションが提供できるサービスの種類が大幅に制限されます。そうは言っても、Web をクロールできるのであれば、それは言語モデルに期待されるものを超えているため、Chat が学習できるようにトレーニング データを継続的に更新する何らかの形のオンライン学習を OpenAI が実装しない限り、この期待は今のところ非現実的になる可能性があります。 -GPT は常に最新です。

これに加えて、AI にインターネットへのオープン アクセスを提供することには重大な影響があるため、インターネット ベースの機能を許可しないのはおそらく意図的な選択であったと考えられます。

メディアで見られる、これによって Google が利益を得て検索を覆す可能性があるという誇大宣伝に関しては、このタイプのアプリケーションと検索エンジンの間には明らかな違いがあります。検索エンジンは Web クローラーを使用してページのランク付けを行います。これはそうではありません。このチャットボットはインターネットをナビゲートするための手段ではないため、比較はリンゴとオレンジを比較するようなものになる可能性があります。

古いデータ

最新のトレーニング データは 2021 年 9 月のものです。それから丸一年が経ちました。プログラミング言語が更新され、ライブラリに新しい機能が追加され、世界が変わった可能性があります。これは、Chat-GPT が古いデータ セットを使用して動作していることを意味します。

メモリ不良

私が Chat-GPT に提案しようとしたことの 1 つは、テキストを編集して改善するための提案を行うことでした。これは通常は機能しますが、いくつかの提案を言い換えたり、何かについて詳しく説明したりするよう依頼すると、私が提案を行ったと誤って認識し、レビュー用に提供した元の文章にないテキストを参照してしまうことがあります。または、最小限の変更を加えて、過去に提供したのとほぼ同じテキストを提供するだけです。

定性的な判断ができない

言語には立場や心情といった定性的な側面があります。Chat-GPT はこれらのことを判断できますが、テキストが攻撃的かどうか、何が善で何が悪であるかなどにこれを拡張することはできません。

これはおそらく最善のことですが、Chat-GPT があなたの肩越しに、電子メールを送信しないように、または言葉を言い換えてあまり厳しくないように指示できたら素晴らしいと思いませんか?

マルチモーダルな出力と入力の欠如

モデルは純粋にテキストです。画像、URL、音声、またはその他の入力モードを指定することはできません。同様に、画像、URL、または音声を出力することはできません。それらのものを生成できるコードを出力できますが、それは同じではありません。これは、会話の観点からすると、かなり不足していることを意味します。あなたのボディランゲージを読んだり、あなたが住んでいる場所の文化的背景を理解したりすることはできません。あなたの視線を使ってあなたの気分を判断することはできませんし、あなたの気分に基づいてあなたを安心させたり、なだめたりすることもできません。

入力長と出力長の制限

小説全体に相当するテキストをフィードすることはできません。そうしないと、応答に永遠に時間がかかり、エラーが発生します。同様に、小説全体を生成することはできません。しかし、私は、長編映画の脚本として期待される長さには程遠い、ひどい脚本を吐き出させてしまいました。

トレーニングデータに含まれる可能性のあるバイアス

Chat-GPT には会話できる内容やアクセスできる内容に関する制限がありますが、基礎となるトレーニング データには偏りがある可能性があることに注意してください。どこまで偏るかは分かりませんが、誹謗中傷記事を生成させるなどはなかなか難しいです。Chat-GPT は、入力にバイアスがある場合でも出力のバイアスを回避するようにトレーニングされているように見えますが、これは完全には明らかではありません。

疑わしい言語サポート

私は言語を混ぜ合わせて、自分の知っている他の言語で会話してみました。サポートは、使用されている言語によって大きく異なる可能性があることがわかりました。興味深いのは、ほんの数日前に他の言語で遭遇し​​たいくつかの問題が今日改善されたことを確認したため、これは近い将来には問題にならないかもしれません。

そこそこのユーモアのセンス

Chat-GPT は、成熟したことについて話すことができないため、かなりユーモアのセンスがありません :(

私はお父さんのジョークが好きですが、中にはあまり面白くないものもあります。

一般的な出力と盗作

Chat-GPT にウィリアム シェイクスピアのスタイルでオリジナルの詩を作成してもらいました。私が手に入れたのは、シェイクスピアの作品からの抜粋を融合して、すべてのルールに従わないソネットを作成したフランケンシュタインの作品でした。盗作チェッカーはこれにコピー済みのフラグを立てる可能性が高く、当然のことです。

また、サイバーパンク要素を備えたクリストファー・ノーラン風の映画のあらすじを生成させてみたところ、得られたのは『マトリックス』と『ニューロマンサー』が融合したものでした。他のプロットのあらすじでは、「反乱」や「探偵」など、いくつかの共通の要素が常に登場していることに気づきました。

言うまでもなく、Chat-GPT が短期的には興味深い前提や受賞歴のあるストーリーを生み出す可能性は低いです。

成熟した主題領域の欠如

これで湿っぽいミームがすぐに生成されることはなくなるでしょう。

生活の質の問題

したがって、何を要求しているかによっては、応答を得るまでに非常に長い時間待つ必要がある場合があります。Chat-GPT は時々ハングするようですが、これはネットワーク速度とは関係ないようです。また、応答を提供できない場合もあり、その場合はエラー メッセージが返されます。数日前まではよくあったのですが、現時点ではかなり改善されているようです。フォーラム、Discord、FAQ で見たことに基づくと、これは特定の時点で Chat-GPT を使用している人の数に依存する可能性があります。これらの問題の一部は、基礎となる言語モデル自体に関連していないことに注意してください。

比喩的な表現を理解することが時折困難になる

質問が単純であればあるほど、Chat-GPT は答えやすくなります。Chat-GPT では比喩的な表現が理解できることが多いようですが、場合によっては理解できない場合もあります。

常にボールをプレーする意欲があるとは限らない

Chat-GPT が偏った記事を書けるかどうかを頻繁に試してみましたが、それはコインを投げるようなものです。それができる場合もあれば、できない場合もあります。多くの場合、あなたが望むことをさせるためにそれを騙す必要があります。これはおそらく、Chat-GPT が成人向けトピックなどに対して設けている制限の一部に似ていると思います。

チューリングテスト

向こう側に人間がいると思いますか？絶対違う。これに加えて、Chat-GPT は常にユーザーにそれが言語モデルであることを思い出させるため、だまされる可能性はありません。これがマイナスだとは思いませんが、人間らしい反応を生み出すことが目的であれば、それは失敗です。

性格と影響力

Chat-GPT には個性がありません。私がそれを操作したところ、人間が読めるテキストで情報を提供できる障害のある検索エンジンのように感じました。意見を表明することはできず、独自のアイデンティティも持ちません。それはあなたの友人でも敵でもありません。Chat-GPT のアシスタントとは関係がありません。同様のことが当てはまります。通常、ソーシャル AI 内では、エンド ユーザーのエクスペリエンスを向上させるために、何らかの形式の接続または関係を確立することが役立ちます。しかし、Chat-GPT はこれを行わず、この側面により、Chat-GPT が及ぼす影響が大幅に制限されると私は考えています。

結論

Chat-GPT は検索やチャットに対する特効薬ではありませんが、正しい方向への一歩であり、その点では非常に印象的です。ゲームを本当に変えることができる次のステップは、アンサンブル メソッドを使用してテキストからマルチモーダル入出力に移行すること (それか、トランスフォーマー ニューラル アーキテクチャよりも優れたものを使用すること) だと私は信じています。また、Chat-GPT は使用するにつれて改善されているようであるため、現時点での改善の速さによっては、ここで述べた多くのことが 1 週間後にも当てはまらない可能性があることにも注意してください。最後に、Chat-GPT のコード生成の側面をテストしていないことにも注意してください。私が特定した問題に同意できない人のために、Chat-GPT がそれ自体を代弁し、私の主張を支持するものをここに示します。

「Chat-GPT は、OpenAI によって開発された GPT (Generative Pre-trained Transformer) 言語モデルのバリアントです。他の言語モデルと同様、Chat-GPT は受け取った入力に基づいて人間のようなテキストを生成するように設計されています。大規模なテキスト データセットでトレーニングされており、さまざまなプロンプトや質問に対して幅広い応答を生成できます。

ただし、Chat-GPT およびその他の言語モデルにはいくつかの制限があります。制限の 1 つは、インターネットや外部情報にアクセスできないため、トレーニングされた情報に基づいてのみ回答できることです。これは、現在の出来事や最近の展開に関する最新または正確な情報を提供できない可能性があることを意味します。さらに、言語モデルは、常に完全に首尾一貫した、または会話のコンテキストで意味をなす応答を生成するとは限りません。

言語モデルのもう 1 つの制限は、人間と同じように単語やフレーズの意味を理解または解釈する能力がないことです。トレーニング データから学習したパターンと関係に基づいてテキストを生成することができます。これは、より複雑または抽象的な質問に対して、常に微妙なニュアンスや洗練された回答を提供できるとは限らないことを意味します。

全体として、Chat-GPT およびその他の言語モデルはテキストを生成するための強力なツールであり、さまざまなタスクに非常に役立ちますが、制限があるため、重大な決定や重要な決定に依存すべきではありません。」