BARD VS ChatGPT: 分析問題のテスト

May 15 2023
相違点、類似点、および両方の言語モデルのテストと比較
接続できます:| リンクトイン | ツイッター | 中 | サブスタック | 5 月 10 日、Google で最も宣伝され、ChatGPT の強力な競合相手である BARD がインドで本格的に稼働しました。私の興味は、Bard と ChatGPT を比較することをやめさせませんでした。ここで、いくつかの素晴らしい比較を紹介します。
画像クレジット: ここ

接続できます:| リンクトイン| ツイッター| | サブスタック|

5 月 10 日、Google で最も宣伝され、ChatGPT の強力な競合相手であるBARD がインドで本格的に稼働しました。私の興味は、Bard と ChatGPT を比較することをやめさせませんでした。ここで、いくつかの素晴らしい比較を紹介します。

このブログでは、 GPT 3 ベースの chatGPT をGPT4 ではなく BARD と比較しています。Google Bard と ChatGPT は両方とも大規模な言語モデルですが、いくつかの重要な違いがあります。Google Bard は規模が大きく、より多様なデータセットでトレーニングされているため、より幅広い知識と能力が得られます。ChatGPT はサイズが小さく、より限定されたデータセットでトレーニングされているため、精度や創造性が低くなります。ただし、ChatGPT は Google Bard よりも安価で、広く入手可能です。

以下は、Google Bard と ChatGPT を比較した表です。

著者による画像

理論と主張は十分です。実際の結果を確認してみましょう。

(実際の) 比較:

比較の方法は数多くありますが、私は分析能力の比較を好む傾向があります。思考プロセスを構築し、推論に取り組み、その後質問に答えることは、言語モデルにとって大きな課題となる可能性があるため、分析スキルは人間とシステムを区別する主な要素です。結果を調べてみましょう。

質問1:

  1. 1=3、2=3、3=5、4=4、5=4 の場合、6=?

チャットGPT

吟遊詩人

ChatGPT は数値間の関係を理解できませんでした。BARDにとっては難しい問題でしたが、最初のパラグラフではBARDが正しく答えました。

質問2:

ドッグショーには49頭の犬が登録されています。小型犬は大型犬よりも36頭多い。何匹の小型犬が競争に参加登録しましたか?

答え:競合している小型犬の数を計算するには、49 から 36 を引き、その答えを 13 で 2 で割って、6.5 頭、つまり競合している大型犬の数を得る必要があります。しかし、まだ終わっていません! 次に、競合する小型犬の数を得るには、6.5 に 36 を加算する必要があります。つまり、42.5 になります。もちろん、半分の犬がドッグ ショーに出場することは実際には不可能ですが、この数学の問題では、そうだと仮定してみましょう。

チャットGPT

吟遊詩人

この質問では、両方のモデルがうまく機能しました。どちらも、答えに取り組むための素晴らしい推論と COT を獲得しました。

質問 3:

男が傾いた山を登っています。彼は山の頂上に着くまでに100キロ移動しなければなりません。彼は毎日、昼間に2km前方に登っていきます。疲れ果てた彼は、夜にそこで休憩します。夜、寝ている間に山が傾いているため、1km後方で滑落してしまう。では、彼が山の頂上に着くまでに何日かかりますか?

答え: 1日目の高さは2kmに達しました

1泊目 -1km

2日目の初めの実質的な登りは1kmです

2日目高さ3km達成

2泊目 -1km

3日目の初めの実質的な登りは2kmです

すぐ…

98日目初めの実質的な登り距離は97km

98日目高さ99km達成

98日目の夜 -1km

99日目初めの実質的な登りは98km

99日目の到達高度は100kmです

チャットGPT

吟遊詩人

この問題では、BARD が正解しました。GPTには理解できないトリックがありました。

質問4:

3 人はそれぞれ 1/3 の割合で嘘をつく傾向があります。彼ら全員が見るコイン投げがあります。みんなヘッズだと言っています。それが実際にヘッズである確率はどれくらいですか?

答え: 一般に、全員が嘘をつく確率は (1/3)*(1/3)*(1/3) = 1/27 で、(2/3)*(2/3)*(2) です。 /3) = 8/27 の確率で全員が真実を語った。全員が同じ答えを出したことがわかっているので、選択肢はこれら 2 つだけです。したがって、表である (全員が真実を語っている) 確率は、(8/27)/ ((8/27)+(1/27)) = 8/9 となります。

チャットGPT

吟遊詩人

面白い!確率のゲーム!!! ここでもBARDはうまく答えました。

同様に、分析数学に関する多くの問題をテストしたところ、言われているとおりBARD が優れていることがわかりました。それでも、 GPT3 を GPT 4 に置き換えると、別の話になる可能性があります。同じフォーマットでの BARD と GPT4 の戦い。近いうちにその比較を実行します。

最終的に、最適な選択は、特定のニーズと要件によって異なります。幅広い知識と能力を備えた大規模な言語モデルが必要な場合は、Google Bard がより良い選択です。より小さくて安価な言語モデルを探している場合は、ChatGPT が良い選択肢です

ニッチな分野やドキュメントのパフォーマンスに応じて両方のモデルをテストできます。

ChatGPT:ここをクリックしてください

吟遊詩人:ここをクリックしてください

この記事が有益だと思われた場合は、

「寛大さはあなたをより幸せにする」ことは証明された事実です。記事が気に入ったら拍手をお願いします。この記事が洞察に満ちていると思われた場合は、Linkedinとメディアで私をフォローしてください。記事を公開したときに通知を受け取るために購読することもできます。コミュニティを作ろう!ご協力ありがとうございました!

以下に関連する私の他のブログを読むことができます。

大規模言語モデルのマスタリング: パート 1 LLM モデルを微調整するためのデータの SQuAD 形式への変換

クリエイティブ AI 分野の最新ニュースや更新情報を常に入手してください。Generative AIの出版物をフォローしてください。