ChatGPT는 프로그래밍 질문에 52%의 시간 동안 잘못된 답변을 제공합니다: 연구

OpenAI의 ChatGPT와 같은 인공 지능 챗봇은 작업자가 업무 효율을 높이는 데 도움이 되는 혁신적인 도구로 판매되고 있으며, 아마도 미래에는 이러한 사람들을 완전히 대체할 수도 있습니다. 그러나 놀라운 새로운 연구에 따르면 ChatGPT가 컴퓨터 프로그래밍 질문에 52%의 잘못된 답변을 제공하는 것으로 나타났습니다.

뉴스 매체 Futurism 에 의해 처음 발견된 퍼듀 대학의 연구는 이달 초 하와이에서 열린 컴퓨터-인간 상호 작용 컨퍼런스 에서 발표되었으며 Stack Overflow에 대한 517개의 프로그래밍 질문을 살펴본 후 ChatGPT에 제공되었습니다.

“우리의 분석에 따르면 ChatGPT 답변의 52%에는 잘못된 정보가 포함되어 있고 77%는 장황한 답변인 것으로 나타났습니다.”라고 새로운 연구에서는 설명했습니다. "그럼에도 불구하고 사용자 연구 참가자들은 포괄성과 잘 표현된 언어 스타일로 인해 여전히 ChatGPT 답변을 35% 선호했습니다."

놀랍게도 연구에 참여한 프로그래머들은 AI 챗봇이 만들어내는 실수를 항상 포착하지는 못했습니다.

연구에 따르면 "그러나 그들은 또한 ChatGPT 답변의 39%에 대한 잘못된 정보를 간과했습니다."라고 합니다. "이는 프로그래밍 질문에 대한 ChatGPT 답변의 잘못된 정보에 대응하고 정답처럼 보이는 답변과 관련된 위험에 대한 인식을 높여야 함을 의미합니다."

분명히 이것은 온라인으로 읽을 수 있는 하나의 연구일 뿐이지만 이러한 도구를 사용해 본 사람이라면 누구나 공감할 수 있는 문제를 지적합니다. 대형 기술 기업들은 가장 신뢰할 수 있는 챗봇을 제공하기 위해 현재 AI에 수십억 달러를 쏟아 붓고 있습니다. Meta, Microsoft, Google은 모두 인터넷과 우리의 관계를 근본적으로 재편할 수 있는 잠재력을 지닌 신흥 공간을 장악하기 위해 경쟁하고 있습니다. 그러나 그 길에는 여러 가지 장애물이 있습니다.

이러한 문제 중 가장 중요한 것은 AI가 신뢰할 수 없는 경우가 많다는 것입니다. 특히 특정 사용자가 정말로 독특한 질문을 하는 경우에는 더욱 그렇습니다. Google의 새로운 AI 기반 검색은 신뢰할 수 없는 소스에서 종종 스크랩되는 쓰레기를 끊임없이 내뿜고 있습니다. 실제로 이번 주에는 Google 검색에서 The Onion의 풍자 기사를 신뢰할 수 있는 정보 로 제시한 경우가 여러 번 있었습니다 .

Google은 잘못된 답변은 예외라고 주장하여 스스로를 방어합니다.

Google 대변인은 이번 주 초 이메일을 통해 Gizmodo에 "우리가 본 예는 일반적으로 매우 드문 쿼리이며 대부분의 사람들의 경험을 대표하지 않습니다"라고 말했습니다 . “대부분의 AI 개요는 웹에서 더 자세히 알아볼 수 있는 링크와 함께 고품질 정보를 제공합니다.”

그러나 "흔하지 않은 쿼리"가 잘못된 답변을 보여주고 있다는 변호는 솔직히 우스꽝스럽습니다. 사용자는 이러한 챗봇에게 가장 일상적인 질문만 물어야 합니까? 이러한 도구가 혁신적이어야 한다는 약속이 있는데 어떻게 받아들일 수 있습니까?

OpenAI는 금요일 ChatGPT 답변에 대한 새로운 연구에 대한 논평 요청에 즉시 응답하지 않았습니다. Gizmodo는 답변을 받으면 이 게시물을 업데이트할 것입니다.