채팅GPT

OpenAI의 ChatGPT 가 인터넷에 불을 질렀습니다! AI에 대한 게시물을 이렇게 많이 본 적이 없습니다. Twitter 및 LinkedIn 피드가 완전히 꽉 차 있습니다. 사실 불과 5일 만에 100만명이 이용했다는 글을 방금 읽었습니다.

공정하게 말하면 ChatGPT는 아마도 누구나 가지고 놀 수 있는 세계 최초의 우수한 범용 AI 챗봇일 것입니다. 반응은 예측할 수 있습니다. "와우", "끝의 시작", "인간은 운명이다"는 내가 친구들로부터 받은 즉흥적인 반응 중 일부에 불과합니다.

그러나 나는 전에 여기에 왔습니다. Jeopardy! 기술. 그래서 그 경험으로 어떻게 생각합니까?

이 게시물에서 Watson에 대해 이야기할 때 Jeopardy! 보여 주다. 이후 IBM은 원래 기술 자체보다는 경험과 효과적인 브랜딩을 현명하게 활용하여 관련 없는 Watson 브랜드 제품 시리즈를 개발했습니다. Watson에 대한 나의 언급은 특히 원래 Jeopardy! 오늘날 IBM이 제공하는 Watson 브랜드 제품이 아닙니다.

기술적으로 ChatGPT와 Watson은 매우 다릅니다. ChatGPT는 GPT3.5 모델 시리즈의 일부인 OpenAI의 davinvi-003 모델을 사용하여 구축된 대규모 언어 모델(LLM)입니다. GPT3.5 모델은 현재 사용 가능한 가장 크고 정교한 LLM 중 일부입니다. 대조적으로 원래 게임쇼 우승 Watson은 LLM으로 설명할 수 없는 다양한 알고리즘의 파이프라인이었습니다. Watson은 2011년에 Jeopardy에서 우승했습니다. 10여 년 전, "대규모 언어 모델"이라는 용어가 만들어지지 않은 시점이었습니다. 따라서 Watson과 ChatGPT가 기술적으로 다르다는 것은 놀라운 일이 아닙니다. 기술 분야에서 10년은 긴 시간입니다.

기술적 차이 외에도 전직 Watsoner로서 저는 ChatGPT에 대해 세 가지 중요한 점을 봅니다.

공개 가용성

첫째, OpenAI가 누구나 손볼 수 있도록 ChatGPT를 무료로 공개했다는 것은 그 능력에 대한 자신감을 보여줍니다. 이 매시업 웹사이트에서 사람들이 나누는 거친 대화 를 살펴보세요 . 다양성은 특별합니다. 저는 이런 것을 본 적이 없습니다. 그리고 그것은 꽤 잘 수행되고 있습니다. 사람들은 종종 그들의 기대치를 초과하기 때문에 흥분합니다.

ChatGPT를 누구에게나 무료로 제공하는 것은 용감한 일이었고 진정으로 인상적인 경우에만 작동할 것입니다. 수신을 Meta의 Galactica 수신과 대조하십시오 . 갤럭티카는 혹평 을 받았고 데모는 철거되기 3일 전까지만 살아남았습니다.

갤럭티카가 과학적 정보를 발명하려는 경향은 심각한 우려를 불러일으켰고, 그 장점에 관계없이 거의 보편적으로 부정적인 반응을 보였습니다. 대조적으로 OpenAI가 ChatGPT로 큰 발전을 이룬 것은 분명합니다. 완전히 흠잡을데는 없지만 상당한 고민이 들어간 느낌이 듭니다.

제퍼디 왓슨으로 돌아오다! 기계는 Jeopardy! 보여 주다. 우리는 일반 대중이 매우 다른 질문을 하고 신속하게 결함을 찾을 것이라는 것을 알고 있었습니다. 이 게임 위닝 AI는 대중에게 거의 공개되지 않습니다. DeepMind with Go, Meta with Diplomacy-winning Cicero, Watson, DeepBlue at Chess — 이러한 시스템 중 어느 것도 대중의 땜질이나 비판을 위해 출시되지 않았습니다. 이것이 ChatGPT를 이러한 다른 혁신과 다른 점으로 만듭니다.

확장성

충분한 사람들이 ChatGPT를 사용하여 내 Twitter 및 LinkedIn 타임라인을 압도하고 있다는 사실은 그것이 잘 확장되어야 한다는 것을 말해줍니다. 많은 요청 을 받고 있습니다.

AI 혁신이 많은 사용자에게 확장될 수 없는 경우가 대부분입니다. 단일 사용자에게 엄청난 양의 컴퓨팅 성능을 적용하여 부분적으로 혁신을 달성합니다. 누군가가 시스템을 구축하기 위해 시스템의 전체 데이터 센터를 제공한다면 그것은 굉장합니다. 그러나 하나의 질문에 답하거나 게임 보드에서 하나의 이동을 결정하는 데 전체 데이터 센터가 필요한 경우 이는 심각한 확장성 문제일 뿐만 아니라 주요 상용화 장애물이기도 합니다. 게임에서 인간 한 명을 이길 수 있는 기계를 만드는 것은 백만 명의 인간을 이길 수 있는 기계를 만드는 것과는 전혀 다릅니다.

문자 그대로 전 세계 수백만 명의 사람들이 ChatGPT로 플레이하고 있다는 사실은 하나의 질문에 답하기 위해 전체 데이터 센터가 필요하지 않다는 것을 증명합니다. 이를 감안할 때 기술은 절대적으로 상용화될 수 있습니다. 확장성과 경제적 실행 가능성의 큰 장벽은 이미 해결되었음에 틀림없습니다.

유연성

원래 Watson은 단 한 가지 일을 하도록 만들어졌습니다. 바로 Jeopardy! Deep Mind의 Go 우승 머신과 수년 동안 헤드라인을 장식한 수많은 다른 AI 게임 플레이 시스템도 마찬가지입니다.

이러한 시스템은 매우 특정한 문제를 해결하여 위대함을 달성하며 일반적으로 다른 영역에 쉽게 또는 전혀 적용할 수 없습니다. 저를 믿으세요. Watson Jeopardy를 구하는 임무를 맡은 우리들! 다른 일을 할 수 있는 기술에는 그것이 얼마나 어려울 수 있는지를 보여주는 전투 흉터가 있습니다.

이에 비해 사람들은 ChatGPT를 사용하여 일반적인 지식 질문에 답하고, 시를 쓰고, 구직 지원서를 작성하고, 농담을 하고, 프로그래밍 코드를 작성하고 설명하고, 기타 무수히 많은 임의의 일을 하고 있습니다. 그리고 추가 교육 없이도 이러한 모든 작업을 훌륭하게 수행하고 있습니다. 이전의 AI 시도와 달리 ChatGPT는 즉시 사용할 수 있는 많은 기능을 제공하는 것 같습니다. 물론 내가 그런 말을 하는 순간, 누군가는 나에게 서투른 것을 보여줄 것이다. 그러나 일반적으로 나는 내 입장을 고수할 것입니다. 많은 일에 인상적입니다.

따라서 ChatGPT가 인상적인 노력을 기울이는 세 가지 이유는 개방성, 확장성 및 유연성입니다. 그러나 ChatGPT에서 내가 본 것의 몇 가지 다른 중요한 측면에 대해서도 언급하고 싶습니다.

물건 만들기

인상적인 능력에도 불구하고 ChatGPT는 여전히 때때로 물건을 만드는 경향이 있습니다. 대부분의 경우 그것을 피하는 것처럼 보이지만 때로는 방향을 틀고 자신의 현실을 발명합니다. 거짓말 탐지기 테스트를 통과할 가능성이 낮다고 가정해 봅시다.

OpenAI는 이 문제를 자유롭게 인정합니다.

“ChatGPT는 그럴듯하게 들리지만 올바르지 않거나 무의미한 답변을 작성하는 경우가 있습니다. ChatGPT는 입력 문구를 수정하거나 동일한 프롬프트를 여러 번 시도하는 데 민감합니다. 예를 들어, 질문의 한 문구가 주어지면 모델은 답을 모른다고 주장할 수 있지만 약간의 다른 문구가 주어지면 올바르게 대답할 수 있습니다.”https://openai.com/blog/chatgpt/

내가 처음 GPT-3(ChatGPT가 구축된)를 만지작거렸을 때 나는 주요 장벽이 되는 것을 구성하는 모델의 성향을 발견했습니다. 저는 "꾸미기"가 주요 브랜드 위험으로 간주되지 않는 실제 비즈니스 시나리오를 거의 알지 못합니다. ChatGPT 는 원래 davinci-002에서 업그레이드된 davinci-003 모델을 기반으로 하기 때문에 부분적으로 더 좋아 보입니다 . 그러나 완벽한 것은 아니며 완전한 사실적 정확성이 중요하다면 이 문제는 채택에 장벽이 될 것입니다.

편견

대규모 언어 모델의 주요 문제는 훈련 세트에 존재하는 내재적 편향입니다. LLM이 인터넷에서 제공되는 대량의 데이터로부터 훈련을 받는다는 점을 감안하면 거의 항상 알려진 모든 인간의 악덕과 편견의 예가 포함되기 때문에 이를 피하기 어렵습니다.

다시 말하지만, OpenAI는 우리의 기대치를 관리하고 있습니다.

“모델이 부적절한 요청을 거부하도록 노력했지만 때때로 유해한 지시에 응답하거나 편향된 행동을 보일 수 있습니다. 우리는 특정 유형의 안전하지 않은 콘텐츠를 경고하거나 차단하기 위해 중재 API를 사용하고 있지만 현재로서는 일부 거짓 부정 및 긍정이 있을 것으로 예상합니다. 우리는 이 시스템을 개선하기 위한 우리의 지속적인 작업을 돕기 위해 사용자 피드백을 열심히 수집하고 있습니다.”https://openai.com/blog/chatgpt/

내 개인적인 경험에 따르면 ChatGPT는 편견을 피하고 나쁜 행동을 조장하는 질문에 대한 답변을 자주 거부합니다. 그러나 단호한 사용자가 주어진다면 꽤 어리석은 말을 하게 할 수 있습니다. 좋기는 하지만 100% 완벽하지는 않습니다.

이 비디오를 살펴보십시오.

예, 창의적인 도발이 주어지면 모두가 볼 수 있도록 인종 및 성별 편견이 표시됩니다(이 경우 인종 차별적/성 차별적 의도를 프로그래밍 도전으로 위장한 다음 반복적으로 동일한 질문을 던짐).

내 자신의 경험은 취침 시간 이야기를 들려달라고 요청한 것입니다. 이에 대한 응답으로 나는 금발 머리에 푸른 눈을 가진 공주에 대한 이야기를 받았습니다. 약간 진부해서 도전했습니다.

이것은 실제로 꽤 좋습니다. LLM이 항상 옳은 말을 하도록 설득하기는 어렵지만 OpenAI는 노력하는 것 같습니다. 그러나 문제는 여전히 남아 있습니다. 대부분의 사람들이 의심스러운 반응을 경험하지 않는 반면, 당신이 결심한다면 그것을 자극할 수 있습니다.

편향을 해결하고 LLM을 직선적이고 좁게 유지하는 작업은 계속 진행 중입니다. 그러나 일반적으로 ChatGPT가 이전의 노력보다 훨씬 낫다는 것을 알았습니다. 그러나 여전히 ChatGPT를 사용하여 비즈니스용 챗봇을 구축하는 데는 이와 관련된 브랜드 반복 위험이 있습니다.

ChatGPT는 무엇을 위한 것인가요?

ChatGPT에 대한 초기 흥분을 극복하고 나면 이런 시스템이 무슨 소용이 있을지 궁금해지기 시작했습니다. 결국 일반 지식은 인상적이지만 Siri-v2 외에는 그것이 어떻게 사용될 수 있는지 즉시 명확하지 않습니다.

어떤 것에 대해서도 의견을 제시하기는 꺼려하지만 모든 것에 대해 이야기할 의향이 있는 일반 지식 컴퓨터입니다. 흠…

공상 과학 영화 THX 1138은 지하 세계의 주민들이 스트레스를 받으면 "고백 부스"로 물러나 "OMM"이라고 주장하는 예수 얼굴을 한 컴퓨터와 대화를 시작하는 역할을 할 수 있습니다. 그렇게 할 수 있습니다.

죄송합니다. 약간 경솔했습니다. 또 무엇을 위해 사용될 수 있습니까?

제너럴리스트와 대화하는 것도 재미있지만 정말 유용한 일에는 전문 지식이 필요합니다. 은행과 채팅하는 경우 계정, 은행 상품, 금융 규칙 등에 대해 모두 알 수 있는 챗봇이 필요합니다. ChatGPT는 거의 알지 못합니다. 전부는 아니지만 대부분의 도메인에서도 마찬가지입니다. 즉, 진정한 유용성을 위해서는 새로운 것에 대해 ChatGPT를 가르칠 수 있어야 합니다. 그리고 아마도 주제에서 벗어난 것에 대해 채팅하는 것을 막을 수도 있습니다. 결국 은행의 챗봇이 삶의 의미에 대해 이야기한다면 좀 이상하지 않나요?

ChatGPT를 어떻게 교육할 수 있습니까?

일반적으로 LLM에는 일반적으로 "핵심" 교육과 "미세 조정"이라는 두 가지 유형의 교육이 있습니다.

OpenAI는 이미 ChatGPT의 핵심 교육을 수행했으며 매우 훌륭하게 수행했다고 생각합니다. 그러나 우리는 거의 확실하게 핵심 교육을 변경할 수 없습니다. 그렇게 하는 것은 수십만 파운드의 컴퓨팅 리소스를 소모할 가능성이 있는 엄청난 계산 비용이 드는 프로세스입니다. 우리가 할 수 있다 하더라도 그렇게 할 여유가 있는 사람은 거의 없습니다.

따라서 미세 조정이 필요합니다. 그러나 이것이 새로운 도메인에서 얼마나 효과적일까요? 수행하기가 얼마나 쉬울까요? 비용은 얼마입니까? OpenAI는 어떤 도구를 제공합니까? 오늘 우리는 답을 추측할 수 있을 뿐입니다. 저는 희망적이지만 ChatGPT가 다른 도메인에서 전문가로서 효과적으로 수행하도록 교육받을 수 있는지 여부에 대한 확신이 없습니다.

열린 커뮤니티의 힘

ChatGPT는 훌륭하지만 현재 독점 OpenAI 웹 기반 인터페이스 뒤에 잠겨 있습니다. 플러그형 API를 사용하여 공개되면 사람들이 무엇을 할 것인지 상상할 수 있습니다.

아니면 이미 엿볼 수 있습니다. 바이럴 버즈에서 영감을 받은 @mmabrouk_는 Python 래퍼 를 해킹했고, Whisper 음성 기반 인터페이스 를 구축한 @_wheels가 빠르게 그 뒤를 따랐습니다 . 따라서 우리는 이미 ChatGPT에 실제로 채팅(즉, 큰 소리로 말할 수 있음)할 수 있습니다.

OpenAI의 접근 방식은 또한 모델 자체의 공개 릴리스가 일반적인 많은 기계 학습 산업과 약간 다릅니다. OpenAI는 일반적으로 GPT 모델을 릴리스하지 않고 대신 호스트를 선택하고 API를 통해 액세스를 제공합니다.

하이퍼 매개변수를 만지작거리고 기본 코드를 이해하는 것을 즐기는 사람들에게는 이것이 문제입니다. 개인적으로 저는 장단점이 있는 다른 접근 방식으로 봅니다. 개방형 모델/코드 또는 호스팅된 API — 둘 다 작동할 수 있습니다. 그러나 중요한 것은 액세스가 개방된다는 것입니다. 혁신이 시작되는 곳이기 때문입니다. 미친 아이디어를 가진 미친 사람들은 그들이 기반으로 할 수 있는 무언가가 필요합니다.

다른 것은 어떻게 비교합니까?

저는 지금까지 약 10년 동안 챗봇을 두드리고 있습니다. 모든 사람이 오늘날의 기술로는 달성할 수 없는 것, 즉 공상 과학 로봇과 대화하는 것과 같은 것을 원한다는 것을 알기에 충분히 긴 시간입니다.

ChatGPT가 제기하는 문제는 실제로 여러 면에서 그 비전에 매우 가깝다는 것입니다. 확실히 말장난을 위한 도구로서 비교할 수 없습니다. 그리고 채팅할 때 현기증을 느끼지 않는 것이 어렵습니다. 사용할 때마다 새로운 방식으로 감동합니다. 하지만 이게 내 안에 있는 작은 소년만 나오는 건가요? 80년대에 코모도어 64를 탄 엘리자 에게 경외감을 느꼈던 그 어린 소년 . AI는 거짓 새벽의 오랜 역사를 가지고 있으며 당시 Eliza에 깊은 인상을 받았지만 오늘날 AI의 기반은 아닙니다.

ChatGPT를 통해 우리 모두는 챗봇이 될 수 있는 것에 대한 기대치를 재설정했습니다. 이것의 결과는 흥미로울 것입니다. "우리는 훌륭한 AI 기반을 가지고 있다"는 동일한 입장에서 경쟁하려는 사람은 어려움에 직면할 가능성이 높습니다.

이게 정말 AI인가요?

마무리하고 싶은 마지막 요점은 ChatGPT를 우리의 두뇌와 비교하는 방법입니다. 결국, 우리가 인공 지능을 구축하기 위해 노력하고 있다면 그것은 나쁜 비교 대상이 아닙니다.

Ian Bogost 는 ChatGPT 가 장난감에 불과하며 우리가 이해하는 방식을 전혀 이해하지 못한다고 주장합니다. 그는 그것이 단지 역설적인 단어일 뿐이며 그 단어가 의미하는 바를 이해하지 못한다고 불평합니다. Cleverly는 그의 Atlantic 기사의 첫 번째 부분이 ChatGPT에 의해 생성된 것으로 밝혀졌습니다.

물론 Ian의 말이 맞습니다. LLM을 이해하는 사람이라면 누구나 자신이 "이해"하지 못한다는 것을 압니다. 그런데… 우리는 어떻게 "이해"합니까? 우리의 두뇌는 적어도 부분적으로는 거대한 패턴 매칭 기계가 아닙니까? "이해"가 더 나은 패턴 일치일까요? 우리가 "무언가를 배운다"는 것은 나중에 뇌가 일치하도록 패턴을 설정하는 것이 아닙니까?

아마도 우리는 인간으로서 우리 자신에 대해 덜 생각하고 곤충, 도마뱀, 쥐와 같은 단순한 뇌를 가진 동물에 대해 더 많이 생각해야 할 것입니다. 패턴 일치는 그러한 동물의 행동 방식을 잘 설명하는 것 같습니다. 나는 고양이가 일상에 너무 매혹되어 있기 때문에 종종 웃습니다. 언젠가는 잠을 잘 수 있는 장소에 앉아 있고 잘되면 영원히 거기에 앉아 있을 것입니다. 그것은 나에게 패턴 매칭처럼 보입니다.

그러나 인간과 같은 고차 동물의 경우에는 좀 더 많은 일이 일어나는 것 같습니다. Simon Sinek은 그의 "골든 서클" 비유로 유명합니다. 그는 자신의 모델을 합리적 사고를 제어하는 ​​신피질과 보다 본능적인 반응을 담당하는 변연계 뇌의 구조와 비교합니다. 저는 우리가 ChatGPT와 같은 것으로 대뇌 변연계에 어느 정도 근접한 지점에 도달하고 있지만 아직 인공 신피질(합리적 사고와 패턴 일치를 강화하는 것)으로 그것을 강화하지 않은 지점에 도달하고 있는지 궁금합니다. 또는 아마도 우리의 두뇌는 우리가 기꺼이 인정한 것보다 패턴 일치에 더 많이 의존합니다. 그렇다면 ELLM(Even Larger Language Models)만 있으면 될까요?