ChatGPT はプログラミングの質問に 52% の確率で間違った回答をする: 調査

OpenAI の ChatGPT のような人工知能チャットボットは、労働者の仕事の効率化に役立つ革新的なツールとして販売されており、将来的には労働者を完全に置き換えることになるかもしれない。しかし、驚くべき新しい研究により、 ChatGPT はコンピュータープログラミングの質問に 52% の確率で誤った回答をしていることが判明した。

ニュースメディアFuturismが最初に報じたパデュー大学の研究は、今月初めにハワイで開催されたコンピュータ・ヒューマン・インタラクション・カンファレンスで発表され、Stack Overflowに投稿された517件のプログラミングに関する質問が調査され、ChatGPTに送られた。

「私たちの分析によると、ChatGPTの回答の52％に誤った情報が含まれており、77％が冗長です」と新しい調査では説明されています。「それでも、ユーザー調査の参加者は、その包括性と明確な言語スタイルを理由に、35％の確率でChatGPTの回答を好みました。」

残念なことに、研究に参加したプログラマーは、AI チャットボットが生成した間違いを必ずしも見つけられなかった。

「しかし、ChatGPT の回答に含まれる誤った情報を見逃す割合は 39% でした」と調査では述べられています。「これは、プログラミングに関する質問に対する ChatGPT の回答に含まれる誤った情報に対抗し、一見正しい回答に関連するリスクに対する認識を高める必要があることを示しています。」

もちろん、これはオンラインで読める1 つの研究に過ぎませんが、これらのツールを使用している人なら誰でも共感できる問題を指摘しています。大手テクノロジー企業は現在、最も信頼性の高いチャットボットを提供するために、AI に数十億ドルを注ぎ込んでいます。Meta、Microsoft、Google は、インターネットとの関係を根本的に変える可能性のある新興分野を独占しようと競い合っています。しかし、その前に立ちはだかるハードルは数多くあります。

こうした問題の中で最も重要なのは、AI がしばしば信頼できないということだ。特に、特定のユーザーが本当にユニークな質問をした場合、その傾向が顕著だ。Google の新しい AI 搭載検索は、信頼できない情報源から収集したゴミ情報を絶えず吐き出している。実際、今週は Google 検索が The Onion の風刺記事を 信頼できる情報 として提示したことが何度もあった。

一方、Google は、間違った回答は例外であると主張して自らを弁護している。

「私たちが目にした例は、一般的に非常に珍しいクエリであり、ほとんどの人の経験を代表するものではありません」と、Googleの広報担当者は今週初めに Gizmodoにメールで語った。「AI概要の大半は、ウェブ上でさらに深く掘り下げるためのリンクとともに、高品質の情報を提供しています。」

しかし、「珍しいクエリ」には間違った回答が表示されるという言い訳は、率直に言って笑止千万です。ユーザーは、これらのチャットボットに最もありふれた質問だけをすればよいのでしょうか? これらのツールは革命的であると約束されているのに、どうしてそれが受け入れられるのでしょうか?

OpenAIは金曜日、ChatGPTの回答に関する新たな研究についてのコメント要請にすぐには応じなかった。Gizmodoは返答があったらこの記事を更新します。