チャットGPT

OpenAI のChatGPTがインターネットに火をつけました! AI に関するこれほど多くの投稿を見たことはありません。私の Twitter と LinkedIn のフィードは完全に埋まっています。実際、わずか 5 日間で 100 万人が利用したと読みました。

公平を期すために言うと、ChatGPT はおそらく世界初の誰でも遊べる優れた汎用 AI チャットボットです。反応は予測可能でした — 「うわー」、「終わりの始まり」、「人類は運命にある」は、私が友人から受けたプロンプトなしの反応のほんの一部です.

しかし、私は以前にここにいました。Jeopardy! の商品化を試みていた初期の頃、私は IBM Watson のヨーロッパの CTO でした。テクノロジー。それで、その経験で、私はどう思いますか？

この投稿でワトソンについて話すとき、私はジェパディのために特別に開発されたテクノロジーについて言及していることに注意してください。見せる。IBM はその後、元のテクノロジー自体ではなく、その経験と効果的なブランディングを賢明に活用して、一連の無関係な Watson ブランドの製品を開発しました。私のワトソンへの言及は、具体的には元のジェパディ！IBM が現在提供している Watson ブランドの製品ではありません。

技術的には、ChatGPT と Watson は大きく異なります。ChatGPT は、GPT3.5 モデル シリーズの一部である OpenAI の davinvi-003 モデルを使用して構築された大規模言語モデル (LLM) です。GPT3.5 モデルは、現在利用可能な最大かつ最も洗練された LLM の一部です。対照的に、Watson を獲得した元のゲームショーはさまざまなアルゴリズムのパイプラインであり、いずれも LLM とは言えませんでした。Watson は 2011 年に Jeopardy を獲得しました。これは 10 年以上前のことであり、「大規模言語モデル」という言葉さえ作られていなかった時代です。したがって、Watson と ChatGPT が技術的に異なることは驚くことではありません。技術において 10 年は長い時間です。

技術的な違い以外に、元ワトソン社員として、ChatGPT について 3 つの重要な点を認識しています。

オープン アベイラビリティ

まず、OpenAI が ChatGPT を誰でも自由に使えるようにリリースしたことは、その能力に対する自信を示しています。このマッシュアップ Web サイトで人々がそれについて行っているワイルドな会話を見てください。その種類は驚くべきもので、私はこのようなものを見たことがありません。そして、それはかなりうまくいっています — 期待を超えることが多いので、人々は興奮しています。

ChatGPT を誰でも自由に利用できるようにすることは勇気があり、本当に印象的である場合にのみ機能します。Meta's Galacticaの受信とは対照的です。ギャラクティカは激しく批判され、デモは削除されるまで 3 日間しか生き残っていませんでした。

ギャラクティカの科学的情報を発明する傾向は深刻な懸念を引き起こし、そのメリットにもかかわらず、その受容はほとんど例外なく否定的でした. 対照的に、OpenAI が ChatGPT で大きな進歩を遂げたことは明らかです。完全に完璧というわけではありませんが、かなりの考慮が払われているように感じます.

ジェパディのワトソンに戻ってきました！マシンは、ジェパディで提起された奇妙な質問のために非常に特別に設計されたため、公開されることはありませんでした。見せる。私たちは、一般の人々が非常に異なる質問をし、すぐに欠陥を見つけることを知っていました. これらの勝利を収めた AI が一般に公開されることはめったにありません。Go の DeepMind、外交を勝ち取った Cicero、Watson、Chess の DeepBlue を備えた Meta など、これらのシステムはどれも、公のいじくり回しや批判のためにリリースされていません。そのため、ChatGPT は、これらの他のブレークスルーと思われるものとは異なります。

スケーラビリティ

私の Twitter と LinkedIn のタイムラインを圧倒するほど多くの人が ChatGPT で遊んでいるということは、ChatGPT を適切に拡張する必要があることを示しています。たくさんのご依頼を頂いております。

AI のブレークスルーが多くのユーザーに対応できないのは、ほとんどの場合です。彼らは、単一のユーザーに膨大な量の計算能力を適用することによって、部分的にブレークスルーを達成しています。システムを構築するためのマシンのデータセンター全体を誰かが提供してくれたら、それは素晴らしいことです。しかし、1 つの質問に答えたり、ゲーム盤で 1 つの動きを決定したりするのにデータ センター全体が必要な場合、それは深刻なスケーラビリティの問題であるだけでなく、商業化の大きなハードルでもあります。ゲームで 1 人の人間を打ち負かすマシンを構築することは、100 万人の人間を打ち負かすことができるマシンを構築することとはまったく同じではありません。

文字通り世界中の何百万人もの人々が ChatGPT で遊んでいるという事実は、1 つの質問に答えるのにデータ センター全体を必要としないことを証明しています。これを考えると、この技術は絶対に商業化できます — スケーラビリティと経済的実行可能性の大きな障壁はすでに解決されているに違いありません.

柔軟性

元のワトソンは、たった 1 つのことだけを行うように構築されました。同じことが、Deep Mind の囲碁勝利マシンや、何年にもわたって見出しを飾ってきた他の無数の AI ゲームプレイ システムにも当てはまります。

これらのシステムは、非常に具体的な問題を解決することで大きな成果を上げますが、通常、他のドメインには簡単に適用できないか、まったく適用できません。Watson Jeopardy の入手を任された私たちのことを信じてください! 他のことを行うためのテクノロジーには、それがいかに困難であるかを示す戦いの傷があります。

対照的に、人々はChatGPTを使用して、一般的な知識の質問に答えたり、詩を書いたり、求人応募を作成したり、冗談を言ったり、プログラミングコードを書いて説明したり、その他の無数のランダムなことを行っています. そして、これらすべてのことを驚くほどうまく行っており、追加のトレーニングの労力はまったく必要ありません. 以前の AI の試みとは異なり、ChatGPT はすぐに使える多くのことに優れているようです。もちろんそう言った瞬間、誰かが苦手なことを教えてくれる。しかし、一般的に、私は自分の立場に立ちます — それは多くのことに驚くほど優れています.

ChatGPT が印象的な取り組みである 3 つの理由は、オープン性、スケーラビリティ、柔軟性です。しかし、ChatGPT で見られる他のいくつかの重要な側面についてもコメントしたいと思います。

ものづくり

その優れた能力にもかかわらず、ChatGPT には、いまだにでっち上げの傾向があります。ほとんどの場合、それを回避しているように見えますが、時には方向転換して独自の現実を発明することもあります。ポリグラフ検査に合格する可能性は低いとだけ言っておきましょう。

OpenAI は、この課題を率直に認めています。

「ChatGPT は、もっともらしく聞こえるが、正しくない、または無意味な回答を書くことがあります。ChatGPT は、入力の言い回しを微調整したり、同じプロンプトを複数回試行したりすることに敏感です。たとえば、質問の 1 つの言い回しが与えられた場合、モデルは答えを知らないと主張できますが、少し言い換えれば、正しく答えることができます。」https://openai.com/blog/chatgpt/

私が最初に GPT-3 (ChatGPT が構築されている) をいじったとき、モデルが物事を作り上げる傾向があることが大きな障壁になることがわかりました。「でっち上げ」が主要なブランド リスクと見なされない実際のビジネス シナリオはほとんどありません。ChatGPT は、元の davinci-002 からのアップグレードである davinci-003 モデルに基づいているためか、はるかに優れているように見えます。しかし、それは完璧ではなく、完全な事実の正確さが重要である場合、この問題は採用の障壁になります.

バイアス

大規模な言語モデルの主な課題は、トレーニング セットに存在する固有のバイアスです。LLM はインターネットから取得したデータをまとめてトレーニングするため、これを回避することは困難です。これには、既知の人間のあらゆる悪徳や偏見の例が事実上常に含まれます。

繰り返しになりますが、OpenAI は私たちの期待に応えています。

「モデルが不適切な要求を拒否するように努めていますが、有害な指示に応答したり、偏った行動を示したりすることがあります。モデレーション API を使用して、特定の種類の安全でないコンテンツを警告またはブロックしていますが、現時点では、いくつかの偽陰性と陽性があると予想されます。このシステムを改善するための継続的な作業を支援するために、ユーザーからのフィードバックを収集したいと考えています。」https://openai.com/blog/chatgpt/

私の個人的な経験では、ChatGPT は偏見を回避する適切な仕事をしており、悪い行動を扇動することを目的とした質問への回答を拒否することがよくあります. しかし、決心したユーザーの場合、かなりばかげたことを言わせることは可能です。それは良いことですが、100%完璧ではありません。

このビデオを見てください：

うん、創造的な挑発（この場合、人種差別主義者/性差別主義者の意図をプログラミングの課題として偽装し、同じ質問を繰り返します）を考えると、人種と性別の偏見がすべての人に見られます.

私自身の経験では、就寝時の話をしてくれるように頼んだことがあります。それに応じて、金髪で青い目のお姫様の話がありました。ちょっと決まり文句なので挑戦してみました。

これは実際にはかなり良いです。LLM に常に正しいことを言うよう説得するのは難しいですが、OpenAI はそうしようとしているようです。しかし、問題は残ります。ほとんどの人は危険な反応を経験することはありませんが、あなたが決心した場合、それらを誘発する可能性があります.

バイアスを解決し、LLM をまっすぐで狭い状態に保つことは、進行中の作業のままです。しかし、ChatGPT は一般的に、以前の取り組みよりもはるかに優れていると思います。それでも、ChatGPT を使用してビジネス用のチャットボットを構築することには、それに関連するブランドの反復リスクがいくつかあります。

ChatGPT とは何ですか?

ChatGPT での最初の興奮を乗り越えた後、このようなシステムをどのように使用するのか疑問に思うようになりました。結局のところ、一般的な知識は印象的ですが、Siri-v2 を除いて、それがどのように使用されるかはすぐにはわかりません.

何についても意見を述べたがらないが、何でも喜んでチャットする一般知識コンピューター。うーん…

おそらく、SF 映画 THX 1138 には役割があります。地下世界の住人は、ストレスがかかると「告白ブース」に退却し、「OMM」であると主張するイエスの顔をしたコンピューターと会話を開始します。それができます。

すみません、ちょっとふざけました。他に何に使用できますか？

ゼネラリストとのチャットは楽しいものですが、本当に役立つものには専門知識が必要です。銀行とチャットしている場合、そのチャットボットがあなたの口座、銀行の商品、金融のルールなどについてすべてを知る必要があります。すべてではないにしても、ほとんどのドメインで同じことが当てはまります。つまり、真の有用性を得るには、ChatGPT に新しいことを教えることができる必要があります。また、トピック外のことについてチャットするのを防ぐことさえできます。結局のところ、銀行のチャットボットが人生の意味について話しているとしたら、それは少し奇妙ですよね?

ChatGPT をどのようにトレーニングできますか?

通常、LLM には 2 種類のトレーニングがあります。これを「コア」トレーニングと「微調整」と呼びます。

OpenAI はすでに ChatGPT のコア トレーニングを行っており、非常によくできていると思います。しかし、そのコア トレーニングを変更することはほぼ確実に不可能です。これを行うには、数十万ポンドのコンピューティング リソースを消費する、非常に計算コストの高いプロセスが必要です。たとえできたとしても、そうする余裕のある人はほとんどいません。

そのため、微調整が必​​要です。しかし、これは新しいドメインでどの程度効果的でしょうか? どのくらい簡単に実行できますか? 費用はいくらですか？OpenAI はどのようなツールを提供しますか? 今日は答えを推測することしかできません。希望はありますが、ChatGPT がさまざまな分野のスペシャリストとして効果的に機能するようにトレーニングできるかどうか、またはどのようにトレーニングできるかについては確実ではありません。

オープンなコミュニティの力

ChatGPT は優れていますが、現在、独自の OpenAI Web ベース インターフェイスの背後にロックされています。プラグイン可能な API を使用して公開されたら、人々がそれを使って何をするか想像することしかできません。

または、おそらく、すでに垣間見ることができます。バイラル バズに触発されて、@mmabrouk_ はPython ラッパーをまとめてハックし、すぐに @_wheels がWhisper 音声ベースのインターフェースを構築しました。そのため、実際に ChatGPT とチャット (つまり、大声で話す) を行うことができます。

OpenAI のアプローチは、モデル自体のオープン リリースが一般的な多くの機械学習業界とは少し異なります。通常、OpenAI は GPT モデルをリリースせず、代わりにホストし、API を介してアクセスを提供することを選択します。

ハイパーパラメータをいじったり、基礎となるコードを理解したりするのが好きな人にとって、これは問題です。個人的には、長所と短所がある別のアプローチだと思っています。オープン モデル/コード、またはホストされた API — どちらも機能します。しかし重要なのは、アクセスが開かれていることです。イノベーションはそこから生まれるからです。クレイジーなアイデアを持ったクレイジーな人々は、その上に構築できる何かを必要としています。

他のものと比べてどうですか？

私は約 10 年間、チャットボットを探し回っています。今日のテクノロジーでは達成できないこと、つまり SF ロボットとおしゃべりをするようなものを誰もが望んでいることを知るには、これで十分です。

ChatGPT が提起する問題は、実際には多くの点でそのビジョンに非常に近いことです。確かに言葉遊びの道具としては比べ物になりません。そして、チャット中にめまいを感じずにはいられません - 使うたびに新しい方法で感動します. しかし、これは私の中の小さな男の子が出てくるだけですか？80年代にコモドール64に乗ったエリザに畏敬の念を抱いたあの少年。AI には偽りの夜明けの長い歴史があり、当時は Eliza に感銘を受けましたが、それは今日の AI の基礎ではありません。

ChatGPT により、チャットボットの可能性に対する期待がリセットされました。この結果は興味深いものになるでしょう。同じ「私たちには優れた AI の基盤がある」という理由で競争しようとする人は誰でも、苦労することになるでしょう。

これは本当にAIですか？

締めくくりたい最後のポイントは、ChatGPT が私たち自身の脳とどのように比較されるかです。結局のところ、人工知能を構築しようとしているのであれば、それは悪い比較対象ではありません。

Ian Bogostは、ChatGPT はおもちゃであり、私たちのように何も理解していないと主張しています。彼は、言葉が逆流しているだけで、その言葉の意味が理解できないと不平を言っています。巧妙なことに、彼の Atlantic 記事の最初の部分は、ChatGPT によって生成されたものであることが判明しました。

もちろん、Ian の言うとおりです。LLM を理解している人は、自分が「理解していない」ことを知っています。それでも…どうやって「理解」するのか？私たちの脳は、少なくとも部分的には巨大なパターン マッチング マシンではないのでしょうか? 「理解」することは、より良いパターン マッチングになるのでしょうか? 私たちが「何かを学ぶ」とき、脳が後で一致するようにパターンを敷設しているだけではありませんか?

おそらく、私たちは自分自身を人間として考えるのではなく、より単純な脳を持つ動物、つまり昆虫、トカゲ、ネズミについてもっと考えるべきです。パターン マッチングは、そのような動物がどのように振る舞うかをよく説明しているようです。猫は日常生活にとても夢中になっているので、よく笑います。ある日居眠りする場所に座って、うまくいけば、永遠に毎日そこに座っています。それは私にはパターンマッチングのように思えます。

しかし、人間のような高次の動物では、もう少し進んでいるようにも見えます. サイモン シネックは、「ゴールデン サークル」の比喩で有名です。彼は自分のモデルを脳の構造、つまり合理的な思考を制御する新皮質と、より本能的な反応を司る大脳辺縁系の脳と比較します。ChatGPT のようなもので大脳辺縁系の脳に近似するところまで到達しつつあるのではないかと思いますが、それを人工新皮質 (合理的な思考でパターン マッチングを強化するもの) で強化することはまだできていません。あるいは、私たちの脳は、私たちが認めようとしている以上にパターン マッチングに依存しているのかもしれません。その場合、Even Larger Language Models (ELLM) だけが必要なのでしょうか?