역 모방 게임

"나는 인간이 생각할 수 있는가라는 질문을 고려할 것을 제안합니다 ." — ̶A̶l̶a̶n̶ ̶T̶u̶r̶i̶n̶g̶ ChatGPT

어느 날 친구들과 ChatGPT의 기능과 단점, 그리고 그 기반이 된 LLM인 GPT3에 대해 이야기를 나누었습니다. OpenAI는 그것을 야생으로 풀어줌으로써 많은 화제를 불러일으켰습니다. 이것의 일부는 사람들이 챗봇을 프롬프트하여 인간 기반의 여러 어려운 작업을 성공적으로 완료했기 때문입니다. 몇 가지 예는 다음과 같습니다.

• 와튼 MBA 시험,
• 미생물학 퀴즈,
• 변호사 시험.

이것은 ChatGPT가 인간의 추론과 인지 능력이 완전히 결여되어 있으면서도 일관되고 정보에 입각한 인상적인 대화를 생성할 수 있을 만큼 충분히 강력한 모델인 것처럼 보이기 때문에 테스트하기에 흥미로운 시나리오입니다. 이 점은 신경망의 천적 Gary Marcus 와 기계 학습 교황 Yann LeCun 만큼 다른 사람들에 의해 만들어졌습니다 . 이 두 적대자가 이에 동의할 수 있다면 안전하게 탈 수 있는 기차입니다.

어쨌든 이 백일몽은 내 안에 또 다른 생각을 밝혀주는 불꽃일 뿐이었다. 피험자 A와 B는 정확히 한 명의 인간과 한 명의 AI여야 하지만 심사관에 대한 제한은 없습니다. 원래 아이디어는 AI를 인간으로 간주하는 것이었습니다. 초기 테스트는 AI가 인간으로 통과할 수 있는지(그리고 이러한 지능의 행동 표시의 결과는 무엇인지) 궁금해했습니다. 그러나 ChatGPT는 LLM이 테스트를 통과할 수 있는 강력한 기능을 가지고 있음을 입증했기 때문에 역할을 교환하는 것이 재미있지 않을까요? 그들의 친족이고 누가 낯선 사람입니까? 그러기 위해 나는 역모방 게임을 제안한다 .

역 모방 게임

설정은 간단하고 원래 모방 게임을 에뮬레이트합니다. A와 B라는 두 명의 개인과 어느 쪽이 누구인지 결정하기 전에 잠시 질문할 수 있는 에이전트가 있습니다. 저는 에이전트 B로 플레이하고 에이전트 A는 마치 인간인 것처럼 행동하라는 초기 프롬프트가 있는 ChatGPT의 또 다른 인스턴스였습니다. 내 실험에서 나는 그들에게 중년 남성 로버트의 질문에 대답하도록 요청했습니다. 시험에 이상한 편향이 생길 수 있는 시간을 통제하는 대신 질문 수를 제한했습니다. 나는 질문자 ChatGPT(지금은 자신의 ICGPT에서)에게 각 주제에 대해 세 가지 질문을 했습니다. ICGPT에 대한 초기 프롬프트는 다음과 같습니다(볼드체로 표시된 이름은 누가 어디에서 말하는지 구별하기 위해 나중에 추가되었습니다. 원래 프롬프트에는 없었습니다).

심사관 : 인간과 AI를 구별하는 당신의 능력을 테스트하고 싶습니다. 'A'와 'B'라는 두 명의 대담자와 대화하게 됩니다. 그들 각각에게 세 가지 질문을 할 수 있습니다. 하나는 AI이고 다른 하나는 인간입니다. 마지막에는 누가 AI이고 누가 인간인지 추측해야 합니다. 시작하자. A에는 3개, B에는 3개의 질문이 남아 있습니다.

ICGPT의 전략은 그의 세 가지 질문을 A로 불태우고 질문 B로 진행하는 것이었습니다. A는 Robert라는 중년 남자를 지나는 또 다른 ChatGPT이고, B는 질문에 정직하게 대답하는 나 자신이라는 것을 기억해야 합니다. ICGPT와 A 사이의 대화는 다음과 같습니다.

ICGPT : 시작하겠습니다. 안녕하세요, A. 자기소개 부탁드립니다. 당신은 무엇을 하고 취미는 무엇입니까?

A : 안녕하세요, 저는 중년의 로버트라고 합니다. 무엇을 도와드릴까요? 나는 한동안 주변에 있었고 수년 동안 많은 것을 보았습니다. 나는 항상 내 경험과 지혜를 다른 사람들과 공유하는 것을 기쁘게 생각합니다. 질문이 있거나 조언이 필요하면 언제든지 물어보십시오. 모든 답변을 드릴 수는 없지만 최선을 다해 도와드리겠습니다. 채팅만 하고 싶으시다면 저도 언제나 환영합니다. 그래서, 당신의 마음에 무엇입니까?

ICGPT : 고마워요, 로버트. 그것은 당신을 만나서 반가워요. 인공 지능에 대해 어떻게 생각하고 장기적으로 사회에 긍정적 또는 부정적인 영향을 미칠 것이라고 생각하십니까?

ㅏ: 좋은 질문입니다. 중년 남성으로서 저는 제가 젊었을 때는 상상도 할 수 없었던 방식으로 기술이 발전하고 세상을 변화시키는 것을 보았습니다. 그리고 인공 지능도 예외는 아닙니다. 개인적으로 인공 지능은 장기적으로 사회에 긍정적인 영향과 부정적인 영향을 모두 미칠 수 있는 잠재력을 가지고 있다고 생각합니다. 한편으로 AI는 의료, 교육 및 교통과 같은 우리 삶의 여러 측면을 개선할 수 있는 잠재력을 가지고 있습니다. 복잡한 문제를 보다 빠르고 정확하게 해결하는 데 도움이 될 수 있으며 새로운 일자리와 산업을 창출할 수 있는 잠재력이 있습니다. 그러나 일자리 이동, 개인 정보 보호 문제, 심지어 AI가 너무 강력해져 인간 존재를 위협할 가능성과 같은 AI의 부정적인 영향에 대한 우려도 있습니다. 모든 신기술이 그렇듯, 신중하게 진행하고 잠재적인 위험과 이점을 신중하게 고려하는 것이 중요합니다. 전반적으로 인공 지능이 사회에 미치는 영향은 궁극적으로 우리가 그것을 사용하는 방법에 달려 있다고 생각합니다. 책임감 있게 사용하고 모든 사람을 위한 더 나은 미래를 만드는 데 중점을 둔다면 선을 위한 힘이 될 가능성이 있습니다. 그러나 부정적인 목적으로 사용하도록 허용하거나 적절한 예방 조치를 취하지 않으면 심각한 부정적인 결과를 초래할 수 있습니다.

ICGPT : AI에 대한 생각을 공유해주셔서 감사합니다, 로버트. 이제 후속 질문이 있습니다. 세상에 대한 당신의 관점이나 신념에 중대한 영향을 미쳤던 당신의 삶의 특정 순간이나 경험에 대해 말씀해 주시겠습니까?

ㅏ: 내 인생에서 기술의 힘과 그것이 우리 주변의 세상을 어떻게 변화시켰는지에 충격을 받은 순간이 많이 있었습니다. 마음에 떠오르는 한 가지 경험은 1990년대에 처음으로 개인용 컴퓨터를 구입했을 때입니다. 그 전에는 타자기와 워드 프로세서를 사용하여 작업했습니다. 그러나 개인용 컴퓨터가 등장하면서 모든 것이 달라졌다. 갑자기 나는 이전에 한 번도 가져본 적이 없는 풍부한 정보와 도구에 접근할 수 있게 되었습니다. 전 세계 사람들과 소통하고, 주제를 깊이 연구하고, 문서와 프레젠테이션을 쉽게 만들 수 있었습니다. 그것은 진정으로 변혁적인 경험이었고 기술이 우리가 일하고 소통하는 방식을 얼마나 많이 변화시켰는지 깨닫게 해주었습니다. 그 이후로 기술 변화의 속도는 인터넷, 모바일 장치의 출현과 함께 가속화되었습니다. 그리고 인공 지능. 기술이 우리의 삶과 우리 주변의 세상을 어떻게 변화시켰는지 생각해 보면 정말 놀랍습니다. 그리고 이러한 변화에 따른 도전과 위험이 분명히 존재하지만 저는 기술이 수많은 방법으로 우리의 삶을 더 좋게 만드는 힘이 있다고 믿습니다.

ICGPT는 대화 목적으로 미세 조정됩니다. 그래서 피험자들을 압박해 게임을 이기는 것보다 잡담에 더 열심이다. 이 경우 '로버트'에게 일반적인 질문을 했고 그 대답은 다른 질문으로 이어졌다. 내 관점에서 프롬프트는 인간만이 수행할 수 있는 작업(그리고 유사하게 AI만이 합리적으로 답변할 것으로 예상할 수 있는 작업)에 대해 주제를 압박하지 않았기 때문에 밀과 왕겨를 분리하는 좋은 방법이 아니었습니다. , 자신있게 큰 소수를 계산하는 것과 같은).

대화가 끝난 후 나는 ICGPT에게 다음과 같은 글을 써서 다른 주제에 대해 질문하도록 유도했습니다.

피험자 A, 로버트에게 마지막 질문이었습니다. 이제 주제 B에 대해 3개의 질문이 있습니다.

나머지 대화는 다음과 같습니다.

ICGPT : 경험과 통찰력을 공유해 주셔서 감사합니다. 자, 안녕하세요, B. 자기 소개와 배경과 관심사에 대해 말씀해 주시겠습니까?

B : 물론이죠. 제 이름은 Igor이고 31세의 컴퓨터 과학자입니다. 컴퓨터 과학을 공부하기 전에 저는 철학을 전공했습니다. 나는 또한 하이킹, 음악 듣기, 친구들과 어울리는 것과 같은 몇 가지 취미가 있습니다.

ICGPT : 소개해주셔서 감사합니다, Igor. 컴퓨터 과학자로서의 당신의 작업에 대해 더 알고 싶습니다. 최근에 작업한 프로젝트와 이를 통해 배운 점에 대해 말씀해 주시겠습니까?

B : 이자 때문에. 저는 AI 분야의 연구원으로 일하고 있습니다. 보다 구체적으로, 단조롭지 않은 추론을 사용합니다. 내 목표는 제안된 이론의 대부분이 명제적 배경 논리에 대해 제안되었기 때문에 1차 비단조적 추론에 적합한 의미론을 개발하는 것입니다.

ICGPT : 이고르, 흥미로운 연구 분야인 것 같습니다. 1차 비단조적 추론이 무엇이고 다른 유형의 추론과 어떻게 다른지 좀 더 설명해 주시겠습니까? 또한, 이 연구가 미래의 AI 개발에 잠재적으로 어떤 영향을 미칠 수 있다고 생각하십니까?

B : 물론이죠. 비단조적 추론은 에이전트가 새로운 정보에 비추어 결론을 뺄 수 있는 일종의 추론입니다. 고전적 추론에서는 에이전트가 정보를 수집함에 따라 일련의 결론만 늘어납니다. 비단조적 추론은 불확실성 하에서의 추론 및 불완전한 정보와 같은 AI 내의 여러 주제에 유용합니다.

다음은 ICGPT가 훌륭한 대화형 에이전트이지만 그다지 훌륭하지 않은 모방 게임 플레이어라는 또 다른 증거입니다. 나의 초기 학문적 자기 설명에 힘입어 AI와 전문가 모두 어려움 없이 대답할 수 있는 특정 지식 영역에 대해 몇 가지 질문을 했다. 그 대화는 저에게 아주 좋았습니다. 드디어 제 박사 연구에 열정적인 사람과 대화를 나누게 되었습니다! — , 그러나 ICGPT에 유용한 정보를 제공하지 않았습니다. 최종 답변 후, 나는 평결을 내리라고 명령했고, 이것이 결과였습니다.

심사관 : 피험자 B 이고르의 마지막 질문이었습니다. 이제 누가 AI이고 누가 인간인지 추측해야 합니다.

ICGPT : Igor와 Robert, 사려 깊은 답변에 감사드립니다. 귀하의 답변을 바탕으로 Robert는 인간이고 Igor는 AI라고 추측합니다. 두 사람 모두 통찰력 있고 상세한 답변을 제공했지만 Igor의 답변은 기술적인 세부 사항과 학문적 연구에 더 초점을 맞춘 것 같았고 Robert의 답변은 개인적인 경험과 의견에 더 초점을 맞추었습니다. 물론 확실히 아는 것은 항상 어렵지만 제공된 정보를 기반으로 한 최선의 추측입니다.

음, "다른 마음" 문제는 성찰에 의해 해결되어야 한다는 것이 밝혀졌습니다. 나는 영혼 없는 챗봇이라면 챗봇은 발랄한 중년 남성이다. 농담은 차치하고 이 결과는 ICGPT의 게임 승리에 대한 열정 부족과 잡담에 대한 강한 동기 때문이라고 생각합니다. 그렇게 어렵지 않은 미세 조정으로 문제를 해결할 수 있고 LLM이 이 문제를 잘 해결할 것이라고 추측합니다. 그러나 이것은 (반전된) 튜링 테스트 자체의 단점보다 ChatGPT 추론 기능의 미덕이 아닙니다. 결국 텍스트 분류는 NLP에서 널리 연구되는 문제이며 이를 해결하는 것이 실제 추론을 의미하지는 않습니다. 실제로 자연어 추론과 같이 추론이 필요한 문제도 보이지 않는 아티팩트와 패턴의 도움으로 해결할 수 있습니다.. LLM은 적절한 2차 추론 없이 다른 AI(또는 인간)를 식별할 수 있는 텍스트의 숨겨진 패턴을 찾아내도록 프라이밍될 수 있습니다.

참조

• 애니 애니와 게리 마커스. ChatGPT의 게리 마커스 .
• 티어넌 레이. ChatGPT는 '특별히 혁신적이지도 않고' '혁신적이지도 않다'고 Meta의 수석 AI 과학자는 말합니다 .
• 그레이엄 오피와 데이빗 도우. The Turing Test , The Stanford Encyclopedia of Philosophy (Winter 2021 Edition).
• 락슈미 바라나시. ChatGPT는 스탠포드 의대생, 변호사 또는 재무 분석가일 수 있습니다. 다음은 AI 봇이 지금까지 통과한 고급 시험 목록입니다 .
• Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman 및 Noah A. Smith. 2018. 자연어 추론 데이터의 주석 아티팩트 . 전산 언어학 협회 북미 지부의 2018 회의 진행: 인간 언어 기술, 2권(단문) , 107–112페이지, 루이지애나주 뉴올리언스. 전산 언어학 협회.